1 Hive 安装地址
- Hive 官网地址 http://hive.apache.org/
- 文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted
- 下载地址 http://archive.apache.org/dist/hive/
- github 地址 https://github.com/apache/hive
2 Hive 安装部署
-
Hive 安装及配置
把 apache-hive-1.2.1-bin.tar.gz 上传到 linux 的/opt/software 目录下
-
解压 apache-hive-1.2.1-bin.tar.gz 到/opt/module/目录下面
tar -zxvf apache-hive-1.2.1-bin.tar.gz -C/opt/module/
-
修改 apache-hive-1.2.1-bin.tar.gz 的名称为 hive
mv apache-hive-1.2.1-bin/ hive
-
修改/opt/module/hive/conf 目录下的 hive-env.sh.template 名称为 hive-env.sh
mv hive-env.sh.template hive-env.sh
-
配置 hive-env.sh 文件
-- 配置 HADOOP_HOME 路径 export HADOOP_HOME=/opt/module/hadoop-2.7.2 -- 配置 HIVE_CONF_DIR 路径 export HIVE_CONF_DIR=/opt/module/hive/conf
-
Hadoop 集群配置
- 必须启动 hdfs 和 yarn
sbin/start-dfs.sh
,sbin/start-yarn.sh
- 在 HDFS 上创建/tmp 和/user/hive/warehouse 两个目录并修改他们的同组权限可写
bin/hadoop fs -mkdir /tmp
bin/hadoop fs -mkdir -p /user/hive/warehouse
bin/hadoop fs -chmod g+w /tmp
bin/hadoop fs -chmod g+w /user/hive/warehouse
- 必须启动 hdfs 和 yarn
3 Hive 基本操作
- 启动 hive -
bin/hive
- 查看数据库 -
hive> show databases;
- 打开默认数据库 -
hive> use default;
- 显示 default 数据库中的表 -
hive> show tables;
- 创建一张表 -
hive> create table student(id int, name string);
- 显示数据库中有几张表
hive> show tables;
- 查看表的结构
hive> desc student;
- 向表中插入数据 `hive> insert into student values(1000,"ss");
- 查询表中数据
hive> select * from student;
- 退出 hive
hive> quit;
整体操作和sql很像,需要注意的是,字段类型与mysql并不一样
4 配置Mysql作为元数据存储
-
驱动拷贝
cp mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/
-
配置 Metastore 到 MySql
-
在/opt/module/hive/conf 目录下创建一个 hive-site.xml
touch hive-site.xml vi hive-site.xml
-
根据官方文档配置参数,拷贝数据到 hive-site.xml 文件中
https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin
<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value > <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>000000</value> <description>password to use against metastore database</description> </property> </configuration>
-
-
配置完毕后,如果启动 hive 异常,可以重新启动虚拟机。(重启后,别忘了启
动 hadoop 集群)