二、Hadoop2.x分布式集群部署-YARN

一、配置 一台ResourceManage和三台NodeManager

1.yarn分布式部署

1.Yarn-env.sh

配置java环境变量

2.Yarn-site.xml

http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

2.mapreduce部署

1.mapred-env.sh

配置java环境变量与参数

2.mapred-site.xml

http://hadoop.apache.org/docs/r2.5.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

3.将配置转移到其他虚拟机

以转到第二台虚拟机为例

scp -r ./* kfk@bigdata-pro02.kfk.com:/opt/modules/hadoop-2.5.0/etc/hadoop/

4.判断是否配置成功

二、HDFS启动集群运行测试

Bin/hdfs namenode –format

(1).启动各个节点机器服务（bigdata-pro01.kfk.com）：

1.Namenode

sbin/hadoop-daemon.sh start namenode

2.Datanode

sbin/hadoop-daemon.sh start datanode

3.Resourcemanager

sbin/yarn-daemon.sh start resourcemanager

4.Nodemanger

sbin/yarn-daemon.sh start nodemanager

5.Jobhistoryserver   historyserver

mapreduce日志必须开启

./mr-jobhistory-daemon.sh start historyserver

(2).jbs查看节点

在其他主机配置DataNode、NodeManager的节点

三、YARN集群运行MapReduce程序测试

1.在目录下创建并编辑一个文件

2.判断是否创建

3.启动服务

bin/hdfs dfs -put /opt/datas/wc.input /user/kfk/data/

4.HDFS服务页面

bin/hdfs dfs -put /opt/datas/wc.input /user/kfk/data/

http://bigdata-pro01.kfk.com:50070/

5.YARN服务页面

http://bigdata-pro01.kfk.com:8088/

图为开启了两台虚拟机的服务