执行Tez任务错误,虚拟内存不够用

错误日志:


标红框的地方是记录发现错误的关键点

错误分析

在检查内存中,通过free 命令查看linux的内存是9个G的可用内存。但是2.7个G的内存就使任务发生内存不够使用。这是因为tez是基于yarn执行任务,yarn在启动任务之前,需要进行内存的检测,导致任务执行失败。但是为什么明明有9个G的内存,需要使用2.7个G就不能执行的问题还未搞清楚yarn的这个问题,需要后续继续研究

暂时解决方案


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容