在跑MR程序的时候,有时候会出现MR运行时卡着不动的情况,一般有以下几种方式解决

1.第一种:重启hdfs和yarn
2.第二种:修改配置

(1)关闭hdfs和yarn

stop-dfs.sh

stop-yarn.sh

(2)修改配置文件


cd /opt/module/hadoop-2.8.4/etc/hadoop

vi yarn-site.xml

添加内容:


<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>20480</value>
</property>
<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>2048</value>
</property>
<property>
  <name>yarn.nodemanager.vmem-pmem-ratio</name>
  <value>2.1</value>
</property>
image.png

(3).重启

start-dfs.sh

start-yarn.sh
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。