Hive安装部署

  1. 安装好对应版本的hadoop集群,并启动hadoop的HDFS以及YARN服务
  2. 安装了MySQL服务,并启动MySQL的服务
    Hive的安装部署
    注意hive就是==一个构建数据仓库的工具==,只需要在==一台服务器上==安装就可以了,不需要在多台服务器上安装。

此处以安装到node03为例;==请大家保持统一==

使用==hadoop普通用户==操作

1.1 先决条件

  • 搭建好三节点Hadoop集群;

  • node03上先安装好MySQL服务;

  • 参考文档:《CentOS 7安装MySQL5.7版本》

1.2 准备安装包

1.3 解压

  • 解压安装包到指定的规划目录/kkb/install

[hadoop@node03 ~]cd /kkb/soft/ [hadoop@node03 soft] tar -xzvf hive-1.1.0-cdh5.14.2.tar.gz -C /kkb/install/

1.4 修改配置文件

  • 修改==配置文件hive-env.sh==

    • 进入到Hive的安装目录下的conf文件夹中

[hadoop@node03 soft]$ cd /kkb/install/hive-1.1.0-cdh5.14.2/conf/

*   重命名hive-env.sh.template

[hadoop@node03 conf]$ mv hive-env.sh.template hive-env.sh

*   修改hive-env.sh

[hadoop@node03 conf]$ vim hive-env.sh

*   如下,修改此文件中HADOOP_HOME、HIVE_CONF_DIR的值(根据自己机器的实际情况配置)

配置HADOOP_HOME路径

export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2/

配置HIVE_CONF_DIR路径

export HIVE_CONF_DIR=/kkb/install/hive-1.1.0-cdh5.14.2/conf
修改==配置文件hive-site.xml==
conf目录下默认没有此文件,vim创建即可
[hadoop@node03 conf]$ vim hive-site.xml
文件内容如下
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://node03:3306/hive?createDatabaseIfNotExist=true&characterEncoding=latin1&useSSL=false</value>
</property>

    <property>
            <name>javax.jdo.option.ConnectionDriverName</name>
            <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionUserName</name>
            <value>root</value>
    </property>
    <property>
            <name>javax.jdo.option.ConnectionPassword</name>
            <value>123456</value>
    </property>
    <property>
            <name>hive.cli.print.current.db</name>
            <value>true</value>
    </property>
    <property>
            <name>hive.cli.print.header</name>
        <value>true</value>
    </property>
    <property>
            <name>hive.server2.thrift.bind.host</name>
            <value>node03</value>
    </property>

</configuration>
修改==日志配置文件hive-log4j.properties==

  • 创建hive日志存储目录
    [hadoop@node03 conf]$ mkdir -p /kkb/install/hive-1.1.0-cdh5.14.2/logs/
    重命名生成文件hive-log4j.properties

[hadoop@node03 conf]pwd /kkb/install/hive-1.1.0-cdh5.14.2/conf [hadoop@node03 conf] mv hive-log4j.properties.template hive-log4j.properties
[hadoop@node03 conf]$ vim hive-log4j.properties # 修改文件

修改此文件的hive.log.dir属性的值

更改以下内容,设置我们的hive的日志文件存放的路径,便于排查问题

hive.log.dir=/kkb/install/hive-1.1.0-cdh5.14.2/logs/

1.5 拷贝mysql驱动包

  • 上传mysql驱动包,如mysql-connector-java-5.1.38.jar/kkb/soft目录中
  • 由于运行hive时,需要向mysql数据库中读写元数据,所以==需要将mysql的驱动包上传到hive的lib目录下==
    [hadoop@node03 ~]cd /kkb/soft/ [hadoop@node03 soft] cp mysql-connector-java-5.1.38.jar /kkb/install/hive-1.1.0-cdh5.14.2/lib/

1.6 配置Hive环境变量

  • 切换到root用户下
    [hadoop@node03 soft]su root Password: 打开`/etc/profile`文件 [root@node03 soft]# vim /etc/profile 末尾添加如下内容 export HIVE_HOME=/kkb/install/hive-1.1.0-cdh5.14.2 export PATH=PATH:HIVE_HOME/bin 切换回hadoop用户,并source [root@node03 soft]# su hadoop [hadoop@node03 soft] source /etc/profile

1.7 验证安装

  • ==hadoop集群已启动==
  • ==mysql服务已启动==
  • 在node03上任意目录启动hive cli命令行客户端
    [hadoop@node03 ~]$ hive
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 一、Hive概述 HIve是什么?为什么要使用hive?对于一个初步接触hive的初学者,这些都是迷惑的,因此本文...
    不清不慎阅读 852评论 0 4
  • 1)Hive安装及配置hive(提取码:ueq2) (1)把apache-hive-1.2.1-bin.tar.g...
    初之寒夏_末之凉秋阅读 848评论 0 2
  • 说明:不少读者反馈,想使用开源组件搭建Hadoop平台,然后再部署Kylin,但是遇到各种问题。这里我为读者部署一...
    大诗兄_zl阅读 2,122评论 0 2
  • HIVE是一个基于Hadoop的数据仓库,适用于一些高延迟性的应用。如果对延迟性要求比较高,则可以选择Hbase。...
    夏无忧阳阅读 5,115评论 0 12
  • 三月份了,开启上班模式,但是好像也没做什么,就是有点烦恼。 老张把电脑搬到楼下了,我怀疑他就是下来打游戏来了,为了...
    SuperComputer阅读 91评论 0 0