Hadoop集群搭建:9.Hive安装及site.xml不生效的踩坑

一、Hive安装及配置

1,把apache-hive-2.3.6-bin.tar.gz上传到linux的/software目录下

清华大学资源包:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

2,解压apache-hive-2.3.6-bin.tar.gz到/module/目录下面:tar -zxvf apache-hive-2.3.6-bin.tar.gz -C /module/

3,修改apache-hive-2.3.6-bin.tar.gz的名称为hive-2.3.6 :mv apache-hive-2.3.6-bin/ hive-2.3.6

4,修改/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh:mv hive-env.sh.template hive-env.sh

5,配置hive-env.sh文件:vi hive-env.sh

配置HADOOP_HOME路径:export HADOOP_HOME=/module/hadoop-2.7.2

配置HIVE_CONF_DIR路径:export HIVE_CONF_DIR=/module/hive/conf



修改路径

二、Hadoop集群配置

1,必须启动HDFS和YARN:sbin/start-dfs.sh  ,sbin/start-yarn.sh

2,进入hadoop-2.7.2 目录,创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写

bin/hadoop fs -mkdir /tmp  ,bin/hadoop fs -mkdir -p /user/hive/warehouse

改权限:bin/hadoop fs -chmod g+w /tmp  , bin/hadoop fs -chmod g+w /user/hive/warehouse


创建目录修改权限,这两个文件看不见?

三、修改Hive环境变量,之后source一下

#HIVE_HOME

export HIVE_HOME=/module/hive-2.3.6

export PATH=$PATH:$HIVE_HOME/bin

hive环境变量

三、Hive元数据配置到MySql

一、驱动拷贝

1.在/software/mysql-libs目录下解压mysql-connector-java-5.1.27.tar.gz驱动包:

tar -zxvf mysql-connector-java-5.1.27.tar.gz

官网包:https://dev.mysql.com/downloads/file/?id=476197

2.拷贝/software/mysql-libs/mysql-connector-java-5.1.27目录下的mysql-connector-java-5.1.27-bin.jar到/module/hive-2.3.6/lib/ :

cp mysql-connector-java-5.1.27-bin.jar  /module/hive-2.3.6/lib/

二、配置Metastore到MySql

1.在/module/hive/conf目录下创建一个hive-site.xml :vi hive-site.xml

2.根据官方文档配置参数,拷贝数据到hive-site.xml文件中

2020421:mysql连接信息后增加  &useSSL=false ,不然hive 的任何命令会报ssl错误

https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>

        <property>

          <name>javax.jdo.option.ConnectionURL</name>

          <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>

          <description>JDBC connect string for a JDBC metastore</description>

        </property>

        <property>

          <name>javax.jdo.option.ConnectionDriverName</name>

          <value>com.mysql.jdbc.Driver</value>

          <description>Driver class name for a JDBC metastore</description>

        </property>

        <property>

          <name>javax.jdo.option.ConnectionUserName</name>

          <value>root</value>

          <description>username to use against metastore database</description>

        </property>

        <property>

          <name>javax.jdo.option.ConnectionPassword</name>

          <value>000000</value>

          <description>password to use against metastore database</description>

        </property>

      <property>

        <name>hive.cli.print.header</name>

        <value>true</value>

      </property>

      <property>

        <name>hive.cli.print.current.db</name>

        <value>true</value>

      </property>

      <property>

        <name>hive.metastore.schema.verification</name>

        <value>false</value>

      </property>

</configuration>

配置文件修改

3.关闭元数据检查:hive-site.xml 里面增加一个配置:不加这个使用Hive的时候会连接超时,并且找不到元数据

<property>

    <name>hive.metastore.schema.verification</name>

    <value>false</value>

</property>

4,进入到Hive的conf目录下(为什么别人是进bin?我进入bin执行的是derby的初始化,会失败),此条已废弃,存在问题,详细信息见下面解释。

4,更新: 在使用了上面的conf目录进行元数据初始化的之后,存在一个问题:即,必须在conf目录下进入Hive才会得到mysql的元数据,在别的目录下进Hive会是默认的derby元数据,而且会超时报错。也就是说实际上并没有做到真正的使用mysql存储元数据,困扰了一晚上,最后找的了下面的解决方式。

原因:是因为hive依赖hadoop(hive-env.sh里设置有hadoop的路径),但是hadoop的环境变量却没有读到hive-site.xml

解决方式:

参考文档:

https://blog.csdn.net/lsr40/article/details/78026125(hive-site.xml修改之后不生效与一些beeline,hiveserver2的报错)


1,hadoop的配置文件hadoop-env.sh中(其实就是hadoop的根目录下的etc/hadoop里面的那些配置文件里)

找到export HADOOP_CLASSPATH这行,修改值为

export HADOOP_CLASSPATH=$HIVE_HOME/conf:$HADOOP_CLASSPATH(HIVE_HOME必须配置环境变量,或者写死)

修改Hadoop的配置文件

2,之后再回到Hive的bin目录下进行元数据初始化,这样无论在哪个目录下进入Hive,使用的都会是mysql。(bin目录下进行的初始化才是真的使用了mysql元数据)

配置元数据类型为mysql:schematool -dbType mysql -initSchema

注:如果创建失败,看看site 文件里(node1:3306/hive?createDatabaseIfNotExist=true),那个Hive的数据库是不是已经在Mysql 创建了,删掉再重新初始化即可。

出现这个就是对的,出现derby是不对的


5.配置完毕后,如果启动hive异常,可以重新启动虚拟机。(重启后,别忘了启动hadoop集群)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351