一．服务器的基本信息
1.系统环境：CentOS release 6.5 硬盘：500G内存：16Ｇ
2.软件包版本：
java java version "1.8.0_161"
Hadoop hadoop-2.8.5
Hive hive-2.3.4
3. 软件包下载地址：
Hive: http://mirror.bit.edu.cn/apache/hive
Hadoop : http://mirror.bit.edu.cn/apache/hadoop/common
Java: https://www.oracle.com/technetwork/java/javase/downloads/index.html
4. 服务器的相关配置：
1) 修改主机名： hostname hadoopmaster
或者修改配置文件：/etc/sysconfig/network
2)修改服务器的时间： date -s ‘YYYY-mm-dd HH:MM:SS’
3)添加hosts信息： ip地址 hadoopmaster
二. JDK环境的安装
1.下载相应JDK的软件包： jdk-8u161-linux-x64.tar.gz
2.解压：tar zxvf jdk-8u161-linux-x64.tar.gz
3.移动java: mv jdk1.8.0_161/ /usr/local/java
４.修改环境变量： vim /etc/profile
添加如下内容：
export JAVA_HOME=/usr/local/java
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH
source /etc/profile声明变量
5.测试效果：
测试命令：java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)
Client VM (build 25.111-b14, mixed mode)
如上回显表示安装成功。
三. Hadoop环境配置
1. 下载相应的hadoop软件包：hadoop-2.8.5.tar.gz
2.解压安装hadoop:
tar xf hadoop-2.8.5.tar.gz
mv hadoop-2.8.5 /usr/local/hadoop
3.修改环境变量(/etc/profile)：
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export PATH=${HADOOP_HOME}/bin:$PATH
3. 新建文件夹（用于而存放hadoop的一些数据文件）：
mkdir -p /hadoop/{tmp,var,dfs,dfs/name,dfs/data}
注:在根目录下新建文件夹hadoop及相关文件夹是防止被莫名的删除
4. 修改配置文件(/usr/local/hadoop/etc/hadoop)：
1) 在core-site.xml文件中新增内容:
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoopmaster:9000</value>
</property>
此处需要注意的是fs.default.name的值可以ip:port也可以使用域名:port。
如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被删掉，必须重新执行format才行，否则会出错。
2) 确保hadoop-evn.sh文件中的JDK的路径是否是系统中java8的地址：
export JAVA_HOME=${JAVA_HOME}
如果不是，修改为：export JAVA_HOME=/usr/local/java
3) 在hdfs-site.xml文件中新增内容:
#dfs.name.dir参数用于确定将HDFS文件系统的元信息保存在什么目录下,如果这个参数设置为多个目录，那么这些目录下都保存着元信息的多个备份,多个目录的表示方法：目录之间用逗号隔开
<property>
<name>dfs.name.dir</name>
<value>/hadoop/dfs/name</value>
<description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
＃dfs.data.dir参数用于确定将HDFS文件系统的数据保存在什么目录下，可以将这个参数设置为多个分区上目录，即可将HDFS建立在不同分区上，如果设置在分区上的目录value值为：/dev/sda3/hadoopdata/,/dev/sda1/hadoopdata/
<property>
<name>dfs.data.dir</name>
<value>/hadoop/dfs/data</value>
<description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
#hdfs数据块的复制份数，默认3，理论上份数越多跑数速度越快
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
#权限设置
<property>
<name>dfs.permissions</name>
<value>false</value>
<description>need not permissions</description>
</property>
dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。
4) 修改mapred-site.conf文件（默认该文件不存在）：
cp mapred-site.xml.template mapred-site.xml
添加内容：
#连接jobtrack服务器的配置项
<property>
<name>mapred.job.tracker</name>
<value>192.168.15.115:9001</value>
</property>
#mapred做本地计算所使用的文件夹
<property>
<name>mapred.local.dir</name>
<value>/hadoop/var</value>
</property>
#指定运行mapreduce的环境是yarn
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
5)修改yarn-site.xml：
6) Hadoop的启动：
A.格式化：/usr/local/hadoop/bin/hadoop namenode -format
B.启动dfs：
/usr/local/hadoop/sbin/start-dfs.sh
此处可能会有警告：WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
主要的原因是：原来系统预装的glibc库是2.12版本，而hadoop期望是2.14版本，所以打印的警告
解决方法：
第一种：重新编译glic,但是不推荐这样做。
第二种：直接在log4j日志中去除告警信息。在/usr/local/hadoop-2.5.2/etc/hadoop/log4j.properties文件中添加：
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
C. 启动yarn：
/usr/local/hadoop/sbin/start-yarn.sh
查看到的启动进程：
Web页面：
http://192.168.15.115:50070 查看HDFS文件系统和日志
至此hadoop已经安装完毕
四．数据库mysql的安装
Hive的默认元数据是Mysql，所以先要安装Mysql，此处安装省略。
创建用户：
grant all privileges on * .* to 'root'@'192.168.15.115' identified by '123456';
flush privileges;
五．Hive
1. 下载并解压安装：
tar xf apache-hive-2.3.4-bin.tar.gz
mv apache-hive-2.3.4-bin /usr/local/hive
2. 修改环境变量：
export HIVE_HOME=/usr/local/hive
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export PATH=${HIVE_HOME}/bin:$PATH
3. 创建hive存放数据目录：
mkdir -p /hive/warehouse
4. Hadoop新建上面的两个目录：
hadoop fs -mkdir -p /hive
hadoop fs -mkdir -p /hive/warehouse
5. 给目录赋予读写权限：
hadoop fs -chmod 777 /hive
hadoop fs -chmod 777 /hive/warehouse
6. 检查目录是否创建成功：
7. 修改配置文件：
1)修改hive-site.xml
cp hive-default.xml.template hive-site.xml
vim hive-site.xml
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/root/hive/warehouse</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/root/hive</value>
</property>
<property>
<name>hive.metastore.uris</name>
<value></value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.metastore.schema.verification</name>
<value>false</value>
<description>
</description>
</property>
将配置文件中的${system:java.io.tmpdir}改为/hive/tmp，并赋予权限：
chmod -R 777 /hive/tmp
将配置文件中的${system:user.name}改为root
2) 修改hive-env.sh
cp hive-env.sh.template hive-env.sh
添加如下内容：
export HADOOP_HOME=/usr/local/hadoop
export HIVE_CONF_DIR=/usr/local/hive/conf
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib
3) 添加数据驱动包：
cp mysql-connector-java-5.1.46.jar /usr/local/hive/lib
8. Hive启动：
Ａ.初始化数据库（确保mysql服务正在启动中）：
/usr/local/hive/bin/schematool -initSchema -dbType mysql
可能会出现报错：
ERROR 1665 (HY000): Cannot executestatement: impossible to write to binary log since BINLOG_FORMAT = STATEMENTand at least one table uses a storage engine limited to row-based logging.InnoDB is limited to row-logging when transaction isolation level is READCOMMITTED or READ UNCOMMITTED.
报错原因：innodb的事务隔离级别是read commited或者read uncommited模式时，binlog不可以使用statement模式
解决方法：
第一种（不重新启动数据库）：set global binlog_format=mixed;
第二种方法：修改配置文件my.cnf中的改为binlog_format=mixed，重新启动mysql
B. 启动hive: /usr/local/hive/bin/hive
C. 简单的操作：
１) 创建数据库：create database test;
２)创建表：
create table test.student(id int,name string) row format delimited fields terminated by '\t';
注：terminated by '\t'表示文本分隔符要使用Tab，行与行直接不能有空格
３)加载数据：
vim /hive/student
1001 wz
1002 wjz
1003 rgz
加载数据：load data local inpath '/hive/student' into table test.student;
４) 查询数据
六．防火墙配置
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9000 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 9001 -j ACCEPT
重新启动防火墙
