hive tez出现java堆内存溢出进行调优

运行hive任务的时候出现了错误,日志如下:

ERROR : FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.tez.TezTask. Vertex failed, vertexName=Map 1, vertexId=vertex_1608805116045_1296_1_04, diagnostics=[Task failed, taskId=task_1608805116045_1296_1_04_000010, diagnostics=[TaskAttempt 0 failed, info=[Error: Error while running task ( failure ) : java.lang.OutOfMemoryError: Java heap space

[2020-12-25 15:17:34,519] {bash_operator.py:127} INFO -  at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)

这个时候需要我们调整tez的参数,如下

--修改tez container大小由2G调到8G

hive.tez.container.size=8192

--TEZ MAP split最小值由16M调为64M

tez.grouping.min-size=67108864 (需要在hive-site文件中自定义新增)

--tez 设置输出排序内存大小由512M调整至2G

tez.runtime.io.sort.mb=2048

--表小于2G时把join转为MAPJOIN

hive.auto.convert.join.noconditionaltask.size=2147483648

--使用的缓冲区大小

tez.runtime.unordered.output.buffer.size-mb=512

参数调整完毕,问题解决。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容