HIVE元数据表数据字典:
表名
|
说明
|
BUCKETING_COLS
|
Hive表CLUSTERED BY字段信息(字段名,字段序号)
|
COLUMNS
|
Hive表字段信息(字段注释,字段名,字段类型,字段序号)
|
DBS
|
|
NUCLEUS_TABLES
|
元数据表和hive中class类的对应关系
|
PARTITIONS
|
Hive表分区信息(创建时间,具体的分区)
|
PARTITION_KEYS
|
Hive分区表分区键(名称,类型,comment,序号)
|
PARTITION_KEY_VALS
|
Hive表分区名(键值,序号)
|
PARTITION_PARAMS
|
|
SDS
|
所有hive表、表分区所对应的hdfs数据目录和数据格式
|
SD_PARAMS
|
|
SEQUENCE_TABLE
|
Hive对象的下一个可用ID
|
SERDES
|
Hive表序列化反序列化使用的类库信息
|
SERDE_PARAMS
|
序列化反序列化信息,如行分隔符、列分隔符、NULL的表示字符等
|
SORT_COLS
|
Hive表SORTED BY字段信息(字段名,sort类型,字段序号)
|
TABLE_PARAMS
|
表级属性,如是否外部表,表注释等
|
TBLS
|
所有hive表的基本信息
|
这些表的内容在HIVE里面是有很格式化的显示,在HIVE里面输入describe formatted table_name;展示出来的信息就是表格中所有表(除了NUCLEUS_TABLE, SEQUENCE_TABLE这两张表)的信息,而且key值基本上和元数据的表字段名称一致。
HIVE如何定义和操作元数据:
定义:
\src\metastore\src\model\ package.jdo和org.apache.hadoop.hive.metastore.model.*用来定义元数据的数据字典和操作。
以TBLS表为例:
Mysql中的表结构为:
mysql> desc TBLS;
+--------------------+--------------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+--------------------+--------------+------+-----+---------+-------+
| TBL_ID | bigint(20) | NO | PRI | NULL | |
| CREATE_TIME | int(11) | NO | | NULL | |
| DB_ID | bigint(20) | YES | MUL | NULL | |
| LAST_ACCESS_TIME | int(11) | NO | | NULL | |
| OWNER | varchar(767) | YES | | NULL | |
| RETENTION | int(11) | NO | | NULL | |
| SD_ID | bigint(20) | YES | MUL | NULL | |
| TBL_NAME | varchar(128) | YES | MUL | NULL | |
| VIEW_EXPANDED_TEXT | mediumtext | YES | | NULL | |
| VIEW_ORIGINAL_TEXT | mediumtext | YES | | NULL | |
| TBL_TYPE | varchar(128) | YES | | NULL | |
+--------------------+--------------+------+-----+---------+-------+
|
在package.jdo里的定义为:
<class name="MTable" table="TBLS" identity-type="datastore" detachable="true">
<datastore-identity>
<column name="TBL_ID"/>
</datastore-identity>
<index name="UniqueTable" unique="true">
<column name="TBL_NAME"/>
<column name="DB_ID"/>
</index>
<field name="tableName">
<column name="TBL_NAME" length="128" jdbc-type="VARCHAR"/>
</field>
<field name="database">
<column name="DB_ID"/>
</field>
<field name="sd" dependent="true">
<column name="SD_ID"/>
</field>
<field name="owner">
<column name="OWNER" length="767" jdbc-type="VARCHAR"/>
</field>
<field name="createTime">
<column name="CREATE_TIME" jdbc-type="integer"/>
</field>
<field name="lastAccessTime">
<column name="LAST_ACCESS_TIME" jdbc-type="integer"/>
</field>
<field name="retention">
<column name="RETENTION" jdbc-type="integer"/>
</field>
<field name="viewOriginalText">
<column name="VIEW_ORIGINAL_TEXT" jdbc-type="LONGVARCHAR"/>
</field>
<field name="viewExpandedText">
<column name="VIEW_EXPANDED_TEXT" jdbc-type="LONGVARCHAR"/>
</field>
<field name="tableType">
<column name="TBL_TYPE" length="128" jdbc-type="VARCHAR"/>
</field>
</class>
|
表名为:TBLS;对应的类为:org.apache.hadoop.hive.metastore.model. MTable,TBLS的所有操作都在此类中定义。
操作:
org.apache.hadoop.hive.metastore. ObjectStore
定义了如何获取元数据,如何写入元数据,其实全部是调用javax.jdo中各个类的方法。
以listPartitionNames为例:
public List<String> listPartitionNames(String dbName, String tableName,
short max) throws MetaException {
List<String> pns = new ArrayList<String>();
boolean success = false;
try {
openTransaction();
LOG.debug("Executing getPartitionNames");
dbName = dbName.toLowerCase().trim();
tableName = tableName.toLowerCase().trim();
javax.jdo.Query q = pm.newQuery(
"select partitionName from org.apache.hadoop.hive.metastore.model.MPartition "
+ "where table.database.name == t1 && table.tableName == t2 "
+ "order by partitionName asc");
q.declareParameters("java.lang.String t1, java.lang.String t2");
q.setResult("partitionName");
Collection names = (Collection) q.execute(dbName, tableName);
pns = new ArrayList<String>();
for (Iterator i = names.iterator(); i.hasNext();) {
pns.add((String) i.next());
}
success = commitTransaction();
} finally {
if (!success) {
rollbackTransaction();
}
}
return pns;
}
|
所以,如果要修改HIVE元数据管理的功能,就可以按如下步骤操作:
1. 在\src\metastore\src\model\ package.jdo中定义新的HIVE元数据表的数据字典
2. 在org.apache.hadoop.hive.metastore.model中定义新增表的操作
3. 在org.apache.hadoop.hive.metastore. ObjectStore中新增方法处理如上定义的功能
分享到:
相关推荐
可以从hive元数据生成建表语句的资源。包括表结构、分区等信息
hive元数据生成工具-基于CDH4.7.0版本
Hive.sql
Hive运维中通常会用到操作元数据,这里提供了常用的sql语句
1. Hive 元数据与 Druid、Superset、Hue、Ranger、Oozie、Presto 组件元数据一起存储 2. 集群需要单独购买一个 Meta
hive元数据批量生成建表语句,含存储格式、存储位置信息;使用MSSQL的sql语言。
1.hive元数据信息的查看,包括表基本信息,数据库基本信息,字段信息,分区信息,索引信息等; 2.对hive元数据的检索,包括表、字段、数据库等内容的检索 3.元数据信息更新(目前只提供对库、表、字段的描述信息进行...
通过mysql> source XXXXX\hive-schema-3.1.0.mysql.sql初始化元数据
#hive仓库元数据管理系统##有如下功能: 1.hive元数据信息的查看,包括表基本信息,数据库基本信息,分区信息,分区信息,索引信息等; 2.对hive元数据的检索,包括表,分段,数据库等内容的检索3.元数据信息更新...
执行命令: java -cp hive-distcp-1.0-SNAPSHOT-shaded_sc.jar com.apex.distcp.HiveTable --config [库名] > test.sql
Hive表分区,里面有比较详细的Hive表分区方法,希望能够有所帮助。
apache hive 的元数据E-R图
24.Hive元数据、fetch task和严格模式的介绍 第3章:Sqoop Sqoop及用户行为分析案例 25.CDH版本框架的介绍 26. CDH版本框架的环境部署 27.Sqoop的介绍及其实现原理 28.Sqoop的安装部署及连接测试 29.Sqoop将MySQL...
mysql安装包,mysql外界数据库作为存储hive元数据的存储介质,它的存在,方便hive用户根据自身的需求对数据进行分析处理。
(1)、内嵌模式:默认安装 hive,hive 是使用 derby 内存数据库保存 hive 的元数据, 这样是不可以并发调用 hive 的。(1 分) (2)、本地模式:通过网络连接到一个数据库中,是最经常使用到的模式。假设使用本机 mysql ...
Impala自动刷新元数据配置.docx
根据官方文档配置参数,拷贝数据到hive-site.xml文件中 https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin 注意:先创建一个metastore数据库,字符集要用latin1 将mysql驱动复制到...
本文主要以atlas0.8.4为例,适配hadoop2.8.5,hive1.2.1,hbase1.3.1,安装集成。以及导入hive元数据,hbaes元数据其中遇到的一些问题和解决办法,包括hive列血缘关系生成。
ive环境规划 •Hive安装路径 •/home/test/Desktop/ •Hive数据存放路径 •hdfs •/user/hive/warehouse •Hive元数据 •第三方数据库 •derby mysql