hive搭建

一:简介

Hive是基于Hadoop构建的一套数据仓库分析系统,它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数据。其在Hadoop的架构体系中承担了一个SQL解析的过程,它提供了对外的入口来获取用户的指令然后对指令进行分析,解析出一个MapReduce程序组成可执行计划,并按照该计划生成对应的MapReduce任务提交给Hadoop集群处理,获取最终的结果。元数据——如表模式——存储在名为metastore的数据库中。

二:hive搭建

[root@hadoop0 conf]# vi /etc/profile

添加如下内容:
export HIVE_HOME=/home/ranrl/opt/hive-2.1.1 
export HIVE_CONF_DIR=$HIVE_HOME/conf 
export PATH=\$PATH:\$HIVE_HOME/bin
  • hive元数据储存(mysql数据库搭建)
    搭建mysql数据库,创建hive用户和数据库

  • 修改配置文件

[root@hadoop0 conf]#cp hive-default.xml.template hive-site.xml
[root@hadoop0 conf]# vi hive-site.xml

修改内容如下:

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.1.27:23308/hive?createDatabaseIfNotExist=true</value>
        <description>JDBC connect string for a JDBC metastore</description>    
    </property>   
    <property> 
        <name>javax.jdo.option.ConnectionDriverName</name> 
        <value>com.mysql.jdbc.Driver</value> 
        <description>Driver class name for a JDBC metastore</description>     
    </property>               

    <property> 
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>hive</value>
        <description>username to use against metastore database</description>
    </property>
    <property>  
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hive</value>
        <description>password to use against metastore database</description>  
    </property>          
</configuration>
  • 下载mysql-connector-java
    地址:https://dev.mysql.com/downloads/connector/j/
    解压得到mysql-connector-java-5.1.40.jar,拷贝到hive的lib目录下

  • 创建元数据表
    在进入hive目录下的bin目录,运行命令:./schematool -initSchema -dbType mysql

  • 运行hive

[root@hadoop0 conf]#hive

问题:

1.[ERROR] Terminal initialization failed; falling back to unsupported


原因是hadoop目录下存在老版本jline:

/hadoop-2.5.2/share/hadoop/yarn/lib:

-rw-r--r-- 1 root root   87325 Mar 10 18:10 jline-0.9.94.jar

 

解决方法是:

将hive下的新版本jline的JAR包拷贝到hadoop下:

cp /hive/apache-hive-1.1.0-bin/lib/jline-2.12.jar ./
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 介绍 Hive是运行在Hadoop之上的数据仓库,将结构化的数据文件映射为一张数据库表,提供简单类SQL查询语言,...
    syncwt阅读 10,146评论 0 7
  • 说明:不少读者反馈,想使用开源组件搭建Hadoop平台,然后再部署Kylin,但是遇到各种问题。这里我为读者部署一...
    大诗兄_zl阅读 6,296评论 0 2
  • 1. Hive基本介绍和基础: Facebook公司最早完成并开源了hive框架,可以将sql语句直接翻译成Map...
    奉先阅读 8,610评论 0 43
  • Mapreduce+Hive+Spark平台搭建 说明 平台搭建成功后,使用Scala语言进行算法设计和应用的开发...
    泽泽馥泽泽阅读 10,489评论 4 6
  • HIVE是一个基于Hadoop的数据仓库,适用于一些高延迟性的应用。如果对延迟性要求比较高,则可以选择Hbase。...
    夏无忧阳阅读 10,502评论 0 12