Java调用Hive-metastore接口

需求:对hive的元数据进行查询,之前师姐的实现方法是通过对MySql的hive元数据数据库操作,进而实现查询。但是该方法太过于麻烦和复杂,在网上查询之后发现,hive提供Hive-metastore service,能比较完美的解决这一需求。

1. 为什么有Hive-metastore service

​ 许多第三方框架需要使用hive 的元数据如spark,所有hive需要开发Hive-metastore service的服务接口。

同理Hive-metastore service提供了JAVA的jar,给java程序调用

2. JAVA怎么用Hive-metastore

​ 去maven仓库搜索hive metastore,能找到对应的jar包。之间在maven项目中引入hive metastore的依赖。

如下面所示:

  1. 依赖
<!--hive-metastore-->
<dependency>
    <groupId>org.apache.hive</groupId>
    <artifactId>hive-metastore</artifactId>
    <version>2.3.4</version>
</dependency>
  1. java连接Hive-metastore service代码
//HiveMetaStore的客户端
private HiveMetaStoreClient hiveMetaStoreClient;

/**
 * 功能描述:
 *          设置HiveJDBC的数据源
 */
private void setHiveMetaStoreConf(DbInform dbInform) {
    HiveConf hiveConf = new HiveConf();
    hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());
    try {
        //设置hiveMetaStore服务的地址
        this.hiveMetaStoreClient = new HiveMetaStoreClient(hiveConf);
        //当前版本2.3.4与集群3.0版本不兼容,加入此设置
      this.hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");
    } catch (MetaException e) {
        e.printStackTrace();
    } catch (TException e) {
        e.printStackTrace();
    }
}

注意

  1. hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());

    1. 其中hiveConf的配置对象也可以通过配置文件读取配置。

      例如,hive-site.xml中的配置如下

      <configuration>
          <property>
              <name>hive.metastore.uris</name>     
              <value>thrift://110.131.23.14:9083</value>
          </property>
      </configuration>
      

      hiveConf中引入:

      hiveConf.addResource("hive-site.xml")

    2. “hive.metastore.uris”属性是设置Hive-metastore service的地址,地址格式如:thrift://110.131.23.14:9083(默认端口9083,必须是hive集群中Hive-metastore service所在的ip)。

  2. hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");

    由于我的集群上的hive是3.0版本,但是hive-jdbc的3.0jar包会与spring boot2.0出现包冲突,导致spring boot无法启动。所以无奈之下,hive-jdbc使用了2.3.4版本,因此HiveMetaStore的jar版本也必须使用2.x.x的版本,不然会出现找不到包的错误。而使用2.x.x的版本与集群3.0版本连接会提示客户端版本太低的错误,控制台提示配置hive.metastore.client.capability.check为fasle。特别提示:该配置写在配置文件中似乎没有作用。

3. Hive-metastore的java接口

// 由数据库的名称获取数据库的对象(一些基本信息)
Database database= this.hiveMetaStoreClient.getDatabase(dbName);
// 根据数据库名称获取所有的表名
List<String> tablesList = this.hiveMetaStoreClient.getAllTables(dbName);
// 由表名和数据库名称获取table对象(能获取列、表信息)
Table table= this.hiveMetaStoreClient.getTable(dbName,tableName);
// 获取所有的列对象
List<FieldSchema> fieldSchemaList= table.getSd().getCols();
// 关闭当前连接
this.hiveMetaStoreClient.close();

注意:使用完之后关闭连接this.hiveMetaStoreClient.close();

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,172评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,346评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,788评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,299评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,409评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,467评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,476评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,262评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,699评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,994评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,167评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,827评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,499评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,149评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,387评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,028评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,055评论 2 352

推荐阅读更多精彩内容