错误日志:
标红框的地方是记录发现错误的关键点
错误分析
在检查内存中,通过free 命令查看linux的内存是9个G的可用内存。但是2.7个G的内存就使任务发生内存不够使用。这是因为tez是基于yarn执行任务,yarn在启动任务之前,需要进行内存的检测,导致任务执行失败。但是为什么明明有9个G的内存,需要使用2.7个G就不能执行的问题还未搞清楚yarn的这个问题,需要后续继续研究
暂时解决方案
错误日志:
标红框的地方是记录发现错误的关键点
错误分析
在检查内存中,通过free 命令查看linux的内存是9个G的可用内存。但是2.7个G的内存就使任务发生内存不够使用。这是因为tez是基于yarn执行任务,yarn在启动任务之前,需要进行内存的检测,导致任务执行失败。但是为什么明明有9个G的内存,需要使用2.7个G就不能执行的问题还未搞清楚yarn的这个问题,需要后续继续研究
暂时解决方案