黑猴子的家:Hive 数据倾斜优化之 复杂文件增加map数

当input的文件都很大,任务逻辑复杂,map执行非常慢的时候,可以考虑增加Map数,来使得每个map处理的数据量减少,从而提高任务的执行效率。

增加map的方法为:
根据computeSliteSize(Math.max(minSize,Math.min(maxSize,blocksize)))=blocksize=128M公式,
调整maxSize最大值。让maxSize最大值低于blocksize就可以增加map的个数。

案例实操

1、执行查询

hive (default)> select count(*) from emp;
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1

2、设置最大切片值为100个字节

hive (default)> set mapreduce.input.fileinputformat.split.maxsize=100;

hive (default)> select count(*) from emp;
Hadoop job information for Stage-1: number of mappers: 6; number of reducers: 1
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Fetch 抓取 Fetch抓取是指,Hive中对某些情况的查询可以不必使用MapReduce计算。例如:SELE...
    ZFH__ZJ阅读 1,982评论 0 3
  • 数据切片和MapTask并行度决定机制 1)一个Job的Map阶段并行度由客户端在提交Job时的切片数决定 2)每...
    bullion阅读 855评论 0 1
  • 17年过去18年开始 关于新的计划,一直都是一列一火车,执行起来大概是还没检票状态。索性今年就单单完成一项,用一年...
    红灯左转阅读 180评论 0 0
  • 在Spring Cloud Sleuth服务链路追踪(Finchley版本)中,我们使用Spring Cloud ...
    AaronSimon阅读 994评论 0 7
  • 自从我们开始有记忆以来,每个人也就走上了人生这条不NG的道路。 一直有一些种子,因为各种环境慢慢地埋在了我们心中,...
    心水痕阅读 454评论 0 0

友情链接更多精彩内容