yarn-site.xml中的几个日志相关配置项

提交到yarn上的application出错,最简单直接的查错方式就是查看log,有时还需分析提交到yarn上的job.jar。

yarn-site.xml中有几个配置项与日志的保存与删除,本地job执行文件的保留与删除有关。若不做配置,日志和job.jar会在application执行结束后被直接删除掉。

yarn.log-aggregation-enable      true        执行结束后收集各个container本地的日志

yarn.log-aggregation.retain-seconds  2592000    收集的日志的保留时间,以秒为单位,到时后被删除,保留30天后删除

yarn.log.server.url   http://hostname:19888/jobhistory/logs   log server的地址

yarn.nodemanager.local-dirs   /hadoop/yarn/local  存放application执行本地文件的根目录,执行完毕后删除,按用户名存储

yarn.nodemanager.log-dirs  /hadoop/yarn/log 存放application本地执行日志的根目录,执行完毕后删除,按用户名存储

yarn.nodemanager.log.retain-second 604800  日志的保留时间,log aggregation没有enable时,有效

yarn.nodemanager.remote-app-log-dir  /app-logs  聚合日志后在hdfs的存放地址

yarn.nodemanager.remote-app-log-dir-suffix  logs   集合日志后的存放地址由 ${remote-app-log-dir}/${user}/{thisParam}构成

yarn.nodemanager.delete.debug-delay-sec 600  application执行结束后延迟10min删除本地文件及日志

参考: https://hadoop.apache.org/docs/r2.4.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • YarnYarn产生背景:Yarn直接来自于MR1.0MR1.0 问题:采用的是master slave结构,ma...
    时待吾阅读 11,175评论 2 23
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,442评论 19 139
  • Spring Boot 参考指南 介绍 转载自:https://www.gitbook.com/book/qbgb...
    毛宇鹏阅读 47,069评论 6 342
  • “你在看什么呢?” “没,没什么。”顾沫脸上的笑僵了一下。叶依歪着头想看看顾沫看的了什么“真没什么,我们快走吧。”...
    女生动漫阅读 3,738评论 0 0
  • 如果想在北上广开阔眼界,适应快节奏的生活方式,愿意为下一代拥有优质的教育资源奋斗那就待在北上广。买不起房子,租房子...
    乘格帆阅读 1,417评论 2 2