YARN环境的搭建

YARN环境的搭建

搭建的简介:

搭建YARN的过程也非常的简单,因为我已经搭建过HDFS系统了整个流程只需要改配置文件就行了如果HDFS的环境没有弄好可以参考我的《HDFS环境搭建》

在Hadoop集群的NameNode配置Yarn

在Hadoop配置目录下,也就是hadoop-2.7.3/etc/hadoop
编辑一个文件叫 mapred-site.xml.template 在configuration标签中加入Yarn的配置

vim mapred-site.xml.template

<configuration>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

在Hadoop集群的DataNode配置Yarn

在Hadoop配置目录下编辑一个文件叫yarn-site.xml

vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>master</value>
</property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

</configuration>

启动Yarn集群

因为我在《HDFS环境搭建》已经配置好了slaves文件 所以我可以通过一个命令让整个yarn起来。

回到NameNode节点上输入启动命令

start-yarn.sh

15109008018276.jpg

检查yarn节点情况:
在游览器输入 http://192.168.56.101:8088
默认是 你的NameNode的ip + 8088端口


15109010016382.jpg

见到以上图片就说明你的yarn起来了。

检查节点情况、在Cluster菜单中点击Nodes


15109010746033.jpg

你会发现你的NodeManager已经正在运行了


15109011739143.jpg

yarn的配置就完成了。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容