需求:对hive的元数据进行查询,之前师姐的实现方法是通过对MySql的hive元数据数据库操作,进而实现查询。但是该方法太过于麻烦和复杂,在网上查询之后发现,hive提供Hive-metastore service,能比较完美的解决这一需求。
1. 为什么有Hive-metastore service
许多第三方框架需要使用hive 的元数据如spark,所有hive需要开发Hive-metastore service的服务接口。
同理Hive-metastore service提供了JAVA的jar,给java程序调用
2. JAVA怎么用Hive-metastore
去maven仓库搜索hive metastore,能找到对应的jar包。之间在maven项目中引入hive metastore的依赖。
如下面所示:
- 依赖
<!--hive-metastore-->
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-metastore</artifactId>
<version>2.3.4</version>
</dependency>
- java连接Hive-metastore service代码
//HiveMetaStore的客户端
private HiveMetaStoreClient hiveMetaStoreClient;
/**
* 功能描述:
* 设置HiveJDBC的数据源
*/
private void setHiveMetaStoreConf(DbInform dbInform) {
HiveConf hiveConf = new HiveConf();
hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());
try {
//设置hiveMetaStore服务的地址
this.hiveMetaStoreClient = new HiveMetaStoreClient(hiveConf);
//当前版本2.3.4与集群3.0版本不兼容,加入此设置
this.hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");
} catch (MetaException e) {
e.printStackTrace();
} catch (TException e) {
e.printStackTrace();
}
}
注意:
-
hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());
-
其中hiveConf的配置对象也可以通过配置文件读取配置。
例如,hive-site.xml中的配置如下
<configuration> <property> <name>hive.metastore.uris</name> <value>thrift://110.131.23.14:9083</value> </property> </configuration>
hiveConf中引入:
hiveConf.addResource("hive-site.xml")
“hive.metastore.uris”属性是设置Hive-metastore service的地址,地址格式如:thrift://110.131.23.14:9083(默认端口9083,必须是hive集群中Hive-metastore service所在的ip)。
-
-
hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");
由于我的集群上的hive是3.0版本,但是hive-jdbc的3.0jar包会与spring boot2.0出现包冲突,导致spring boot无法启动。所以无奈之下,hive-jdbc使用了2.3.4版本,因此HiveMetaStore的jar版本也必须使用2.x.x的版本,不然会出现找不到包的错误。而使用2.x.x的版本与集群3.0版本连接会提示客户端版本太低的错误,控制台提示配置hive.metastore.client.capability.check为fasle。特别提示:该配置写在配置文件中似乎没有作用。
3. Hive-metastore的java接口
// 由数据库的名称获取数据库的对象(一些基本信息)
Database database= this.hiveMetaStoreClient.getDatabase(dbName);
// 根据数据库名称获取所有的表名
List<String> tablesList = this.hiveMetaStoreClient.getAllTables(dbName);
// 由表名和数据库名称获取table对象(能获取列、表信息)
Table table= this.hiveMetaStoreClient.getTable(dbName,tableName);
// 获取所有的列对象
List<FieldSchema> fieldSchemaList= table.getSd().getCols();
// 关闭当前连接
this.hiveMetaStoreClient.close();
注意:使用完之后关闭连接this.hiveMetaStoreClient.close();