清理yarn-nodemanager 历史任务存储的中间结果以及依赖jar包
修改 yarn-site.xml
vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下内容
<property>
<name>yarn.nodemanager.localizer.cache.target-size-mb</name>
<value>1024</value>
<description>数据最大限制超过此值将清除历史任务数据</description>
</property>
<property>
<name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
<value>604800000</value>
<dedication>多久做一次检测，并清除缓存目录直到目录大小低于target-size-mb</dedication>
</property>
清理hadoop-historyserver 历史日志聚合功能后存储到hdfs中的日志数据
修改 yarn-site.xml
vim $HADOOP_HOME/etc/hadoop/yarn-site.xml
添加以下内容
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>432000</value>
<dedication>多久清理一次历史聚合日志</dedication>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/tmp/container/logs</value>
<dedication>聚合后的日志hdfs存放目录</dedication>
</property>
重启hadoop集群参数生效
