![Uploading hive6_786401.png . . .]
](http://upload-images.jianshu.io/upload_images/3068725-de9d189c6ac9218c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
启动Hadoop各个进程并测试
-
启动各个进程
hive2.png -
查看hdfs和resourcemanager的web管理界面
hive3.png
hive4.png - 向Hadoop上传文件进行测试
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -ls /
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /test
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -put /etc/hosts /test
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -ls /test
Found 1 items
-rw-r--r-- 3 wulei supergroup 237 2016-10-22 17:22 /test/hosts
安装Hive
- 解压Hive
[wulei@bigdata-00 softwares]$ tar zxf apache-hive-0.13.1-bin.tar.gz -C /opt/modules/
- 配置Hive。需要把conf目录下的模板配置文件hive-env.sh.template拷贝并重命名为hive-env.sh。并修改文件中的下面两行，指定hadoop的目录和加载配置文件的目录。
HADOOP_HOME=/opt/modules/hadoop-2.5.0
export HIVE_CONF_DIR=/opt/modules/hive-0.13.1/conf
- 在hdfs上创建数据仓库目录和临时存储文件的目录，并且赋予写的权限
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir /tmp
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -mkdir -p /user/hive/warehouse
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -chmod g+w /tmp
[wulei@bigdata-00 hadoop-2.5.0]$ bin/hdfs dfs -chmod g+w /user/hive/warehouse
-
进入交互式命令，并简单测试。
hive5.png
安装Mysql并与Hive建立连接
由于hive默认的derby数据库不能多实例(不能多个客户端)，所以选择Mysql来存储Hive中的元数据。
- yum安装mysql-server并启动进程
[wulei@bigdata-00 ~]$ yum install -y mysql-server
[wulei@bigdata-00 ~]$ sudo /etc/init.d/mysqld start
[wulei@bigdata-00 ~]$ /etc/init.d/mysqld status
mysqld (pid 26011) is running...
- 设置mysql登陆密码
[wulei@bigdata-00 ~]$ mysqladmin -u root password '123456'
- 进入mysql设置用户连接权限,最后重启服务。
[wulei@bigdata-00 ~]$ mysql -u root -p
Enter password:
mysql> use mysql;
mysql> grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
mysql> delete from user where user='root' and host'127.0.0.1';
....
mysql> flush privileges;
- Hive配置文件修改
需要在conf目录下手动创建hive-site.xml文件。
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/metasotre?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
</configuration>
- 拷贝mysql驱动包
把mysql驱动jar包放到Hive安装目录的lib下
[wulei@bigdata-00 hive-0.13.1]$ cp /opt/softwares/mysql-connector-java-5.1.27-bin.jar /opt/modules/hive-0.13.1/lib/
- 连接测试
在成功建立连接后，进入mysql数据库，会发现多了一个metastore数据库，这个数据库就是用来存储hive的元数据信息。
- 其他常用配置
- 在hive-site.xml中配置cli命令显示数据库名称和列标题名。
<property>
<name>hive.cli.print.header</name>
<value>true</value>
</property>
<property>
<name>hive.cli.print.current.db</name>
<value>true</value>
</property>
- hive默认的日志目录是在linux本地目录/tmp/user_name中，为了方便管理，修改日志存放的目录。把conf目录下面的hive-log4j.properties.template重命名为hive-log4j.properties，并修改hive.log.dir的值。
hive.log.threshold=ALL
hive.root.logger=INFO,DRFA
hive.log.dir=/opt/modules/hive-0.13.1/logs
hive.log.file=hive.log
8.使用HQL
- 创建数据库以及相关的操作。创建完一个数据库后会发现一个数据库对应hadoop上的一个目录。
hive (default)> show databases;
hive (default)> create database test_db;
hive (default)> use test_db;
hive (test_db)> show tables;
- 创建表并向表中导入数据
hive (test_db)> create table student(id int,name string) row format delimited fields terminated by '\t';
hive (test_db)> load data local inpath '/opt/datas/student.txt' into table student;
其中row format delimited fields terminated by '\t'是用来指定表中列与列之间的分隔符。
- 查看表信息
- desc student; 只能查看表的字段和字段类型
- desc extended student; 查看表的完整信息
- desc formatted student; 格式化输出表的完整信息
-
基本查询语句。可以发现在第二条查询语句本质是生成map和reduce任务并执行。
hive9.png
hive10.png 查看函数和函数用途.
hive (test_db)> show functions;
hive (test_db)> desc function count;
-
在mysql的metastore数据库中查看元数据信息
hive11.png
hive12.png
