总结一下这些天做的乱七八糟的工作，虽然我大部分的时间都在摸鱼，但也是做了不少功夫。在被官方文档坑+其他各型网站坑过之后，写点东西避免犯重复性的错误。
搭建hadoop所需的环境
1. linux操作系统
推荐使用centos，我使用的是centos7操作系统。centos6有个问题就是安装相关的ide环境落后，后边需要编程的时候要自己手动升级GTK+，比较麻烦。
2. jdk1.8.0
centos7自带的是openjdk，卸载后装jdk1.8，执行卸载指令如下：
$ rpm -qa | grep Java #查看Java的安装依赖库
$ yum -y remove Java* #卸载Java的所有依赖库
卸载完成后去oracle官网下载对应操作系统的jdk，使用 tar 指令解压文件后缀为.tar.gz，或者rpm安装文件后缀为.rpm的文件。
编辑环境变量，具体操作命令如下：
$ vim /etc/profile
上条指令需要root权限，使用sudo命令或者修改etc/profile的读写权限。在文件中添加具体内容：
export JAVA_HOME= # jdk的安装路径
export PATH=$JAVA_HOME/bin:$PATH
保存退出后使用指令：source /etc/profile 让环境生效。
安装 hadoop
在镜像网站中选择stable版本，不要选最新的，因为最新发布的基本都有点坑……由于是单节点，可以基本按照官网给的单节点安装步骤进行。网址：Apache Hadoop 2.9.1 – Hadoop: Setting up a Single Node Cluster.
单节点模式 Single Node 是可以直接使用bin/hadoop的，出于学习的目的，可以搭建一个伪分布模式。
在hadoop安装目录下使用指令进行配置。
$ vim etc/hadoop/core-site.xml
在配置文件 core-site.xml 中添加如下内容：
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/soft/tmp</value>
</property>
</configuration>
其中，加粗字体中的 hadoop.tmp.dir在官方文档中是没有提及到的。这个是hadoop的临时目录，namenode在里面存放着hdfs的数据，一旦重启操作系统，就会自动把这个临时目录的数据清空，导致每次重启虚拟机的时候，hdfs的数据都没了……（我本人就被坑了一次，namenode在操作系统重启的时候一直启动不成功……），所以这个配置很重要，<value></value>中写要存放的路径。
另外我们还需要配置 hdfs-site.xml 这个文件，使用 vim 指令编辑，添加如下内容：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
将ssh设置为免密登录，这样在多个服务器中互相用ssh登录可以省却一些不必要的麻烦。
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
$ chmod 0600 ~/.ssh/authorized_keys
使用ssh localhost指令看登录是否还需要输入passphrase。
完成上述工作之后，按以下步骤启动hadoop。
- 格式化 File System
$ bin/hdfs namenode -format
- 启动 namenode 和 datanode
$ sbin/start-dfs.sh
hadoop日志输出在 $HADOOP_LOG_DIR 文件夹内，默认 $HADOOP_HOME/logs。
执行后，查看 http://localhost:50070/ 是否启动成功。
- 停止 namenode 和 datanode
$ sbin/stop-dfs.sh
使用 HDFS
HDFS（Hadoop Distributed File System，分布式文件系统），可以通过命令 bin/hdfs dfs 查看帮助。
- 创建 HDFS 文件夹。
$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/<username>
- 将要输入的文件上传到HDFS，input 可以替换为任意的文件路径。
$ bin/hdfs dfs -put etc/hadoop input
- 运行 hadoop 自带的例子，output要写hdfs创建的输出文件夹路径，而不是单纯的output（当时我真的就很傻直接写output……），比如 /test/output，输出的文件夹必须是空文件夹，否则会报错。
$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.1.jar grep input output 'dfs[a-z.]+'
- 验证是否有输出文件。
$ bin/hdfs dfs -cat /test/output/*
使用 YARN
YARN 是 hadoop 的资源管理系统，按我的理解来说，是调配资源，从各个节点中安排任务。详细的可以看官方文档：Apache Hadoop 2.9.1 - Apache Hadoop YARN
启动yarn之前先启动 namenode 和 datanode 再启动 YARN。
$ sbin/start-dfs.sh
- 配置 mapred-site.xml，使用
$ vi etc/hadoop/mapred-site.xml编写 mapred-site.xml 文件。
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
- 配置 yarn-site.xml， 使用
$ vi etc/hadoop/yarn-site.xml指令编写yarn-site.xml。
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>apreduce_shuffle</value>
</property>
</configuration>
- 启动
$ sbin/start-yarn.sh
启动成功后，通过浏览器查看 http://localhost:8088/ ，若有界面显示则表明 resource manager 启动成功了。另外，还可以通过jps指令查看进程。
- 停止 YARN
$ sbin/stop-yarn.sh
