hadoop的完全分布模式配置

  • 文件位置/soft/hadoop/etc/hadoop:
<!--core-site.xml-->
<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://s100:8020/</value>
        </property>
</configuration>
<!--hdfs-site.xml-->
<configuration>
        <property>
            <name>dfs.replication</name>
            <value>2</value>
         </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                 <value>s103:50090</value>
        </property>
</configuration>
<!--yarn-site.xml-->
<configuration>
<!-- Site specific YARN configuration properties -->
 <!-- 指定ResourceManager的地址-->
                <property>
                    <name>yarn.resourcemanager.hostname</name>
                    <value>s100</value>
                </property>
                <!-- 指定reducer获取数据的方式-->
                <property>
                    <name>yarn.nodemanager.aux-services</name>
                    <value>mapreduce_shuffle</value>
                </property>
</configuration>
<!--mapred-site.xml-->
<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
</configuration>
  • 除此之外,还需要配一个同目录下的slaves文件:
s101
s102
  • 然后hadoop namenode -formatstart-all.sh,需要注意的是,如果发现子slave的datanode没有启动,则需要删除/tmp/hadoop-ubuntu 和hadoop-ubuntu-namenode.pid文件夹后重新启动!
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容