背景
因项目需要，想把远程服务器上的数据（Hadoop数据库）导入本地mysql，所以需要在本地服务器上搭建Hadoop和Hive环境，以便可以访问远程Hadoop数据库。查阅网上的教程，发现还是有各种坑，所以决定自己写一个教程。
在Linux下安装Hadoop 2.9.2
一、下载Hadoop安装包
由于不知道远程服务器的Hadoop和Hive版本，担心会有版本不兼容的问题，所以选择较低版本的 Hadoop 2.9.2（最新是 3.2.1）。下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/
a. 因为服务器无法访问外网，所以只能自己下载好把文件传输到服务器上，用的scp命令：
scp hadoop-2.9.2.tar.gz root@[server's ip]:/[destiny address]
b. 如果可以直接访问外网的小伙伴可以用shell命令下载：
wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz
二、解压缩Hadoop安装包
将文件放到安装目录，解压完成后既可以使用，解压命令如下：
tar -zxvf hadoop-2.9.2.tar.gz
三、为Hadoop配置文件增加 tmp 目录
Hadoop运行会生成一些临时和log文件，需要提前建好目录，将安装地址替换为你要安装的地址：
mkdir /app/software/hadoop/tmp
mkdir /app/software/hadoop/tmp/dfs
mkdir /app/software/hadoop/tmp/data
mkdir /app/software/hadoop/tmp/name
设置权限：
chmod -x /app/software/hadoop/tmp
chmod -x /app/software/hadoop/tmp/dfs
chmod -x /app/software/hadoop/tmp/data
chmod -x /app/software/hadoop/tmp/name
四、修改Hadoop配置文件
需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop2.9.2/etc/hadoop下面，具体需要的配置如下：
注意：斜体加黑的路径是我的服务器上的路径，如果你的不一致，需要替换为步骤三中设置的路径。
1. core-site.xml 文件添加如下配置：
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/app/software/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
2. mapred-site.xml.template添加如下配置：
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
3. hdfs-site.xml添加如下配置：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/app/software/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/app/software/hadoop/tmp/dfs/data</value>
</property>
</configuration>
4. 如果运行Hadoop时找不到jdk，则另需要在hadoop-env.sh文件中增加jdk，需要将jdk地址改为你的jdk地址：
export JAVA_HOME="/usr/java/jdk1.8.0_221-amd64"
五、运行Hadoop
在配置完成后，运行Hadoop，将目录切换至Hadoop 2.9.2文件目录。
1. 初始化HDFS系统
在hadop2.7.1目录下使用如下命令：
bin/hdfs namenode -format
提醒 "SHUTDOWN_MSG: Shutting down NameNode at xxx" 即说明执行成功。
2. 开启NameNode和DataNode守护进程
使用如下命令开启：
sbin/start-dfs.sh
3. 使用如下命令查看进程信息：
jps
看到进程中有DataNode和NameNode则说明开启成功。
结束，在Linux上的Hadoop就安装成功了。
在Linux下安装Hive 1.0.1
一、前期准备
1. Hadoop 2.9.2，见上一步安装配置教程。
2. 本地MySql Server安装完成。
3. MySql Connector 5.1.48
下载地址：https://dev.mysql.com/downloads/file/?id=489461
我用的是 mysql-connector-java-5.1.48.tar.gz，高版本会有兼容性问题，建议大家使用这个版本。
4. 下载Hive 1.0.1 安装包
下载地址：http://archive.apache.org/dist/hive/hive-1.0.1/apache-hive-1.0.1-bin.tar.gz
之所以选择1.0.1版本，是因为远程服务器Hive版本未知，用高版本的Hive client去访问低版本的Hive server会有不兼容问题，我就遇到这样的问题，卡了很久都没有解决，最后换了低版本Hive就没有问题了。
二、Hive安装
解压Hive到你想要安装的目录文件下
tar -zxvf apache-hive-1.0.1-bin.tar.gz
三、环境变量配置
这点非常重要，我在安装的时候经常会遇到某个环境变量找不到的问题。
1. 打开环境变量配置文件：
vim /etc/profile
2. 添加需要配置的环境变量，切莫直接复制，把文件地址改为你的地址：
export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export HADOOP_HOME=/app/software/hadoop/hadoop-2.9.2
export HIVE_HOME=/app/software/apache-hive-1.0.1-bin
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HIVE_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HIVE_HOME/lib
四、添加 MySql Connector Java
将MySql Connector的包解压并放入$HIVE_HOME\lib的目录下：
tar -zxvf mysql-connector-java-5.1.48.tar.gz $HIVE_HOME\lib
五、Hadoop配置
1. 启动dfs+yarn
在Hadoop 2.9.2 的文件目录下执行：
sbin/start-all.sh
2. 创建HDFS目录并赋予权限
hdfs dfs -mkdir -p /app/software/hive/warehouse
hdfs dfs -mkdir -p /app/software/hive/tmp
hdfs dfs -mkdir -p /app/software/hive/log
hdfs dfs -chmod g+w /app/software/hive/warehouse
hdfs dfs -chmod g+w /app/software/hive/tmp
hdfs dfs -chmod g+w /app/software/hive/log
六、Hive配置
需要配置的文件有两个：hive-env.sh 和 hive-site.xml。在conf目录下默认有这两个文件的模板，我们直接将这两个文件复制生成新的配置文件，步骤如下。
1. 生成并配置hive-env.sh文件，命令如下：
cp -r hive-env.sh.template hive-env.sh
vim hive-env.sh
把如下配置复制到文件中，切莫直接复制，把对应地址改为你的安装地址：
export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export HADOOP_HOME=/app/software/hadoop/hadoop-2.9.2
export HIVE_HOME=/app/software/apache-hive-1.0.1-bin
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=$HIVE_HOME/conf
2. 生成并配置hive-site.xml文件，命令如下：
cp -r hive-default.xml.template hive-site.xml
vim hive-site.xml
因为文件中有很多配置命令，需要将对应的配置中的<value></value>值修改，建议大家使用vim的搜索功能 :/，查找到对应的条目进行修改。
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive. -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead. -->
<!-- Hive Execution Parameters -->
<property>
<name>hive.exec.scratchdir</name>
<value>/app/software/hive/tmp</value>
<description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/<username> is created, with ${hive.scratch.dir.permission}.</description>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/app/software/hive/warehouse</value>
<description>location of default database for the warehouse</description>
</property>
<property>
<name>hive.querylog.location</name>
<value>/app/software/hive/log</value>
<description>Location of Hive run time structured log file</description>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>mysql用户名</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>mysql用户的密码</value>
</property>
</configuration>
七、启动HIVE
先运行 schematool 命令来执行初始化操作
schematool -dbType mysql -initSchema
然后就可以直接启动了：
hive
启动成功！
先写这么多了，其实过程中遇到很多问题，大家有什么问题可以留言，我会及时回复。
从远程Hadoop服务器通过Hive导出数据到本地MySql见下篇教程：https://www.jianshu.com/p/4a3403e7f7d7
参考文章：
