配置文件的路径：/module/hadoop-2.7.2/etc/hadoop
1.核心配置文件
配置core-site.xml, 命令：vi core-site.xml
在该文件的中 config 范围内 编写如下配置
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node1:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/module/hadoop-2.7.2/data/tmp</value>
</property>
2.HDFS配置文件
配置hadoop-env.sh，命令： vi hadoop-env.sh ，在文本里找到java_home进行编辑
export JAVA_HOME=/module/jdk1.8.0_144
配置hdfs-site.xml，命令： vi hdfs-site.xml
在该文件中编写如下配置：(配置副本的数量和secondnamenode 的节点地址)
<property>
<!-- 指定Hadoop副本数量 -->
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 指定Hadoop辅助名称节点主机配置 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>node2:50090</value>
</property>
3.YARN配置文件
配置yarn-env.sh， 命令：vi yarn-env.sh，在文本里找到java_home进行编辑
export JAVA_HOME=/module/jdk1.8.0_144
配置yarn-site.xml， 命令：vi yarn-site.xml
在该文件中增加如下配置
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>node3</value>
</property>
4.MapReduce配置文件
配置mapred-env.sh， 命令：vi mapred-env.sh
export JAVA_HOME=/module/jdk1.8.0_144
配置mapred-site.xml，先重命名在配置。命令：cp mapred-site.xml.template mapred-site.xml
命令：vi mapred-site.xml
在该文件中增加如下配置
<!-- 指定MR运行在Yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
slaves配置 vi slaves ，不能有空格，不能有空行
配置datanode的节点
node1
node2
node3
5.创建分发脚本
脚本实现
（a）在/home目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下：
mkdir bin cd bin/ touch xsync vi xsync
在该文件中编写如下代码：
-----------------
#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi
#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname
#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir
#4 获取当前用户名称
user=`whoami`
#5 循环
for host in 1 2 3
do
echo ------------------- $host --------------
rsync -rvl $pdir/$fname $user@node$host:$pdir
done
----------------
（b）修改脚本 xsync 具有执行权限,chmod 777 xsync
（c）调用脚本形式：xsync 文件名称 xsync /home/bin
注意：如果将xsync放到/home/bin目录下仍然不能实现全局使用，可以将xsync移动到/usr/local/bin目录下。
分发hadoop 和 java 文件：进入到/module 使用： xsync XXXXX
6.生成公钥和私钥：
cd 命令进入到家目录 ，进入 cd .ssh
执行：ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
（3）将公钥拷贝到要免密登录的目标机器上
ssh-copy-id node1 （自己也要发送）
ssh-copy-id node2
ssh-copy-id node3
测试看看是不是生效： ssh node1
（4）在其他节点也配置ssh
7.集群启动
如果集群是第一次启动，需要格式化NameNode：进入到hadoop目录：hadoop namenode -format
启动dfs：进入Node1 hadoop目录下，启动命令：sbin/start-dfs.sh
启动yarn(RM)：进入node3 hadoop目录下，启动命令：sbin/start-yarn.sh
查看进程：jps
