hadoop调优

数据输入：

合并小文件

使用CombineTextInputFormat来作为输入

Map阶段

（spill）次数：通过调整io.sort.mb及sort.spill.percent

（merge）次数：通过调整io.sort.factor参数，增大merge的文件数目

combine处理:业务允许部分合并

Reduce阶段

map、reduce共存：调整slowstart.completedmaps

设置buffer直接输送到reduce中：mapred.job.reduce.input.buffer.percent

压缩阶段

使用snappy压缩

JVM重用

mapreduce.job.jvm.numtasks

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容