Hive数据仓库环境搭建


依赖环境

Hive不能独立运行!需要依赖于一个RDBMS(帮它存储元数据)和一个文件系统(帮它存储真实数据)

必须要准备一个RDBMS(也可以是hive自带的derby内嵌数据库,不适用于生产环境,推荐使用MySQL)
必须要准备一个Hadoop(其实也不必,也可以直接使用linux文件系统来存储就行了)

版本选择

选择任何技术的版本要考虑哪些方面:功能,稳定性,可维护性,兼容性.....
当前 Hive 的主流版本有两个

hive-1.x,其中使用比较多的是hive-1.2.x的版本,最后一个稳定版本是hive-1.2.2,如果使用这个版
本,你的hive将来没法集成spark。
hive-2.x,现行主流的hive使用版本,现行稳定的hive-2.x版本中的,我们选择使用hive-2.3.6

自带Derby版本

用途:测试,学习,快速使用
1、上传安装包

put -r apache-hive-2.3.6-bin.tar.gz

2、解压安装包

[bigdata@bigdata02 ~]$ tar -zxvf ~/soft/apache-hive-2.3.6-bin.tar.gz -C ~/apps/

3、进入到bin目录,运行hive脚本

[bigdata@bigdata02 ~]$ cd apps/apache-hive-2.3.6-bin/bin
[bigdata@bigdata02 bin]$ ./hive

4、测试使用

show databases;
create database testdb;
use testdb;
create table student(id int, name string);
insert into table student values ('1','huangbo'), ('2','xuzheng'),
('3','wangbaoqiang');
select * from student;

外置MySQL版本

用途:适用于企业级生产环境
第一步:准备好MySQL 和 Hadoop

请参考官网安装,或者自行安装MySQL,或者一个可用的MySQL。不管你的MySQL在哪里,只要Hive能连接上
即可。如果Hive和MySQL没有安装在同一个服务器节点中,通常企业环境也都不是安装在同一个节点,一定要
记得给Hive开启MySQL的远程链接权限。
要点:
1、有一个能用的MySQL就行
2、给这个MySQL配置远程连接权限

第二步:上传安装包
将apache-hive-2.3.6-bin.tar.gz 到安装Hive的服务器节点中。

使用你知道的方式上传这个安装包到你的服务器上。或者使用wget命令直接现在去下载也可。或者给centos
安装lrzsz命令通过自行rz命令来进行上传,或者通过filezilla这种ftp工具也行。

第三步:解压安装包到对应的Hive安装目录中

[bigdata@bigdata02 ~]$ tar -zxvf ~/soft/apache-hive-2.3.6-bin.tar.gz -C ~/apps/

第四步:修改配置文件

[bigdata@bigdata02 ~]$ cd ~/apps/apache-hive-2.3.6-bin/conf
[bigdata@bigdata02 ~]$ touch hive-site.xml

注意:该文件默认是没有的。一般自己创建。当然也可以从hive-default.xml更改而来,不推荐。

[bigdata@bigdata02 ~]$ vi hive-site.xml

在这个新创建的配置文件中加入如下截图中的内容即可:

<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://192.168.123.1:3306/myhivemetadb236?createDatabaseIfNotExist=true&amp;verifyServerCertificate=false&amp;useSSL=false</value>
    <description>JDBC connect string for a JDBC metastore</description>
    <!-- 如果mysql和hive在同一个服务器节点,那么请更改bigdata02为localhost -->
    <!-- bigdata02为你安装的MySQL服务器节点,请更改为自己的 -->
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <!-- SQL的驱动类名称,不用更改 -->
        <description>Driver class name for a JDBC metastore</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <!-- 连接MySQL的用户账户名 -->
        <description>username to use against metastore database</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
        <!-- 连接MySQL的用户的登录密码 -->
        <description>password to use against metastore database</description>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive236/warehouse236</value>
        <description>hive default warehouse, if nessecory, change it</description>
        <!-- 可选配置,该配置信息用来指定Hive数据仓库的数据存储在HDFS上的目录 -->
    </property>
</configuration>

第五步:加入MySQL驱动
一定要记得加入MySQL驱动包 mysql-connector-java-5.1.40-bin.jar 该jar包放置在hive的安装根
路径下的lib目录中,毕竟hive要读写MySQL。

[bigdata@bigdata02 ~]$ cp ~/soft/mysql-connector-java-5.1.40-bin.jar ~/apps/apache-hive-2.3.6-bin/lib

第六步:复制Hadoop集群的配置文件
一定要记得把Hadoop集群中的 core-site.xml 和 hdfs-site.xml 两个配置文件都放置在Hive安装目录下conf目录中。

[bigdata@bigdata02 ~]$ cp $HADOOP_HOME/etc/hadoop/core-site.xml ~/apps/apache-hive-2.3.6-bin/conf
[bigdata@bigdata02 ~]$ cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml ~/apps/apache-hive-2.3.6-bin/conf

第七步: 安装完成,配置环境变量

vi ~/.bashrc

添加以下两行内容:

export HIVE_HOME=/home/bigdata/apps/apache-hive-2.3.6-bin
export PATH=$PATH:$HIVE_HOME/bin

最后不要忘记让环境变量配置生效:

[bigdata@bigdata02 ~]$ source ~/.bashrc

第八步:验证Hive安装

[bigdata@bigdata05 ~]$ hive --service version

第九步:初始化元数据库
注意:当使用的hive是1.x之前的版本,不做初始化也是OK的,当Hive第一次启动的时候会自动进行初始化,只不过会不会生成足够多的元数据库中的表。在使用过程中会慢慢生成。但最后进行初始化。如果使用的2.x版本的Hive,那么就必须手动初始化元数据库。使用命令:

[bigdata@bigdata02 ~]$ schematool -dbType mysql -initSchema

切记:初始化操作只需要做一次。如果你使用了一段时间,再次执行了这个命令,那么你就又得到了一个全新的Hive。
执行成功的日志:


[bigdata@bigdata02 conf]$ schematool -dbType mysql -initSchema
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/home/bigdata/apps/apache-hive-2.3.6-bin/lib/log4j-slf4j-impl-2.6.2.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/home/bigdata/apps/hadoop-2.7.7/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]
Metastore connection URL:        jdbc:mysql://192.168.123.1:3306/myhivemetadb236?createDatabaseIfNotExist=true&verifyServerCertificate=false&useSSL=false
Metastore Connection Driver :    com.mysql.jdbc.Driver
Metastore connection User:       root
Starting metastore schema initialization to 2.3.0
Initialization script hive-schema-2.3.0.mysql.sql
Initialization script completed
schemaTool completed

第十步:启动Hive 客户端

[bigdata@bigdata05 ~]$ hive
[bigdata@bigdata05 ~]$ hive --service cli

第十一步:退出Hive

hive> quit;
hive> exit;

第十二步:注意事项
在使用 Hive 的时候一定要确保三件事:

1、确保 RDBMS元数据 启动好了。
2、确保 HDFS 启动好了。能正常运行
3、确保 YARN 集群启动好了,能正常运行

HiveServer2服务

第一:修改hadoop集群的hdfs-site.xml配置文件:加入一条配置信息,表示启用webhdfs

    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

第二:修改hadoop集群的core-site.xml配置文件:加入两条配置信息:表示设置hadoop集群的代理用户

    <property>
        <name>hadoop.proxyuser.bigdata.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.bigdata.groups</name>
        <value>*</value>
    </property>

第三:启动Hiveserver2服务

[bigdata@bigdata02 ~]$ nohup hiveserver2 1>/home/bigdata/logs/hiveserver.log 2>/home/bigdata/logs/hiveserver.err &

第四步:启动beeline客户端

beeline -u jdbc:hive2://bigdata03:10000 -n bigdata

Hiveserver2 Web UI

Hive从2.0 版本开始,为 HiveServer2 提供了一个简单的 WEB UI 界面,界面中可以直观的看到当前链接的会话、历史日志、配置参数以及度量信息。
修改: $HIVE_HOME/conf/hive-site.xml 配置文件:

    <property>
        <name>hive.server2.webui.host</name>
        <value>bigdata02</value>
    </property>
    <property>
        <name>hive.server2.webui.port</name>
        <value>10002</value>
    </property>

可以参考官网:https://cwiki.apache.org/confluence/display/Hive/Setting+Up+HiveServer2#SettingUpHiveServer2-WebUIforHiveServer2
重启 Hiveserver2,访问 Web UI:http://bigdata02:10002

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,029评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,395评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,570评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,535评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,650评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,850评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,006评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,747评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,207评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,536评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,683评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,342评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,964评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,772评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,004评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,401评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,566评论 2 349

推荐阅读更多精彩内容