hive3.1.2安装(基于mysql存储元数据)

1.下载

wget http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz

2.解压

tar -zxvf apache-hive-3.1.2-bin.tar.gz

3.配置环境变量

vim /etc/profile

export HIVE_HOME=/cdc/apache-hive-3.1.2-bin
export PATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin
source /etc/profile

4. 安装

4.1 修改hive-config.sh

vim /bin/hive-config.sh

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.272.b10-1.el7_9.x86_64
export HIVE_HOME=/cdc/apache-hive-3.1.2-bin
export HADOOP_HOME=/cdc/hadoop-3.3.0
mv  hive-env.sh.template  hive-env.sh
mv  hive-default.xml.template  hive-site.xml(或重新创建touch hive-site.xml)

4.2上传jar包

上传mysql-connector-java-5.1.10.jar到$HIVE_HOME/lib

wget https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.34/mysql-connector-java-5.1.34.jar

4.3 修改hive-env.sh

vim hive-env.sh

export HADOOP_HOME=/cdc/hadoop-3.3.0
export HIVE_CONF_DIR=/cdc/apache-hive-3.1.2-bin/conf/

4.4 修改hive-site.xml

vim hive-site.xml
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://主机名:3306/mysql自动为hive创建的元数据库名?createDatabaseIfNotExist=true</value>
</property> 
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>eisoo.com123</value>
</property>
<!-- 指定存储元数据要连接的地址 -->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://dhf4:9083</value>
</property>
<!-- 指定 hiveserver2 连接的 host -->
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>主机名</value>
</property>
<!-- 指定 hiveserver2 连接的端口号 -->
<property>
    <name>hive.server2.thrift.port</name>
    <value>10000</value>
</property>

4.5 初始化mysql数据库

schematool -dbType mysql -initSchema

hive --service metastore

4.6启动hive服务端

启动较慢,netstat -nultp|grep 10000等待有10000端口监听即启动成功

./hive --service hiveserver2

4.7启动beeline 客户端

./beeline -u jdbc:hive2://主机名:10000 -n root

5.测试

image

出错了!将hive设置成本地模式来执行任务。

image

Mysql中为hive创建的元数据库及数据表存放在hdfs上的位置

image

到hdfs上查看数据

image

关注公众号 HEY DATA,添加作者微信,一起讨论更多。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容