【hive-整合】hbase添加phoenix jar导致hive启动异常分析

软件环境:hbase 1.1.1 hive2.2.3 hadoop2.7.2
硬件环境:centos 7
问题描述:
HBASE添加phoenix支持需要在hbase的lib目录添加phoenix的jar。重启hive服务时报如下错误:

Exception in thread "main" java.lang.NoSuchMethodError: com.ibm.icu.impl.ICUBinary.getRequiredData(Ljava/lang/String;)Ljava/nio/ByteBuffer;
    at com.ibm.icu.charset.UConverterAlias.haveAliasData(UConverterAlias.java:131)
    at com.ibm.icu.charset.UConverterAlias.getCanonicalName(UConverterAlias.java:525)
    at com.ibm.icu.charset.CharsetProviderICU.getICUCanonicalName(CharsetProviderICU.java:126)
    at com.ibm.icu.charset.CharsetProviderICU.charsetForName(CharsetProviderICU.java:62)
    at java.nio.charset.Charset$2.run(Charset.java:412)
    at java.nio.charset.Charset$2.run(Charset.java:407)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.nio.charset.Charset.lookupViaProviders(Charset.java:406)
    at java.nio.charset.Charset.lookup2(Charset.java:477)
    at java.nio.charset.Charset.lookup(Charset.java:464)
    at java.nio.charset.Charset.forName(Charset.java:528)
    at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.findCharsetNameFor(Encodings.java:386)
    at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.findCharsetNameFor(Encodings.java:422)
    at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.loadEncodingInfo(Encodings.java:450)
    at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.<init>(Encodings.java:308)
    at com.sun.org.apache.xml.internal.serializer.Encodings$EncodingInfos.<init>(Encodings.java:296)
    at com.sun.org.apache.xml.internal.serializer.Encodings.<clinit>(Encodings.java:564)
    at com.sun.org.apache.xml.internal.serializer.ToStream.<init>(ToStream.java:134)
    at com.sun.org.apache.xml.internal.serializer.ToXMLStream.<init>(ToXMLStream.java:67)
    at com.sun.org.apache.xml.internal.serializer.ToUnknownStream.<init>(ToUnknownStream.java:143)
    at com.sun.org.apache.xalan.internal.xsltc.runtime.output.TransletOutputHandlerFactory.getSerializationHandler(TransletOutputHandlerFactory.java:159)
    at com.sun.org.apache.xalan.internal.xsltc.trax.TransformerImpl.getOutputHandler(TransformerImpl.java:438)
    at com.sun.org.apache.xalan.internal.xsltc.trax.TransformerImpl.transform(TransformerImpl.java:328)
    at org.apache.hadoop.conf.Configuration.writeXml(Configuration.java:2405)
    at org.apache.hadoop.conf.Configuration.writeXml(Configuration.java:2384)
    at org.apache.hadoop.hive.conf.HiveConf.getConfVarInputStream(HiveConf.java:3628)
    at org.apache.hadoop.hive.conf.HiveConf.initialize(HiveConf.java:4051)
    at org.apache.hadoop.hive.conf.HiveConf.<init>(HiveConf.java:4008)
    at org.apache.hadoop.hive.metastore.HiveMetaStore.main(HiveMetaStore.java:6997)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)

问题分析:
1、看到这个问题首先百度了一番,只了解到是由于phoenix的jar包引起(验证确实是phoenix的jar的原因),但并未找到有效的解决方法。
2、在虚拟机搭建集群希望重现这个问题及能够大胆的各种操作去解决问题,通过虚拟机验证是正常的。
3、查看hive服务脚本,可以发现hive启动时会用到$HADOOP_CLASSPATH及加载spark、hive、hbase等目录下的jar包到HADOOP_CLASSPATH环境变量。
修改hive脚本在扫描hbase classpath的地方添加phoenix jar包过滤无效,如下:


最后排查export HADOOP_CLASSPATH=xxx的地方,定位到hadoop目录下的hadoop-evn.sh中有加载了hbase的目录。这是由于之前spark+hbase程序异常解决添加进来的(论做操作记录的重要性,没有头绪的时候查看记录可能会有新的发现)。

问题解决:
首先去掉该条export HADOOP_CLASSPATH=xxx,验证hive、hbase、phoenix能正常使用。但这样spark+hbase的问题又会重新暴露,拷贝hbase lib(无phoenix jar)到一个新的目录lib-hbase,export HADOOP_CLASSPATH=xxx/lib-hbase/*即可。问题实际的根本是phoenix jar中的icu包和hive/lib下的icu4j的包冲突了,或者移除hive/lib下的icu4j包,环境正常。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 简介 HBase是高可靠性,高性能,面向列,可伸缩的分布式存储系统,利用HBase技术可在廉价PC Serve...
    九世的猫阅读 2,232评论 1 6
  • 转自 沈钊伟 HBase 在大数据生态圈中的位置 提到大数据的存储,大多数人首先联想到的是 Hadoop 和 Ha...
    wangxiaoda阅读 1,266评论 0 19
  • Spark SQL, DataFrames and Datasets Guide Overview SQL Dat...
    草里有只羊阅读 18,390评论 0 85
  • 说明:不少读者反馈,想使用开源组件搭建Hadoop平台,然后再部署Kylin,但是遇到各种问题。这里我为读者部署一...
    大诗兄_zl阅读 2,121评论 0 2
  • 作者:青青菩提 一本岁月雕饰的书里 夹着几张泛黄的照片 一首委婉而动人的信天游 从照片里 穿过沟沟峁峁的黄土塬 穿...
    青青菩提阅读 1,426评论 0 0