Hive高级优化

并发执行

job1: a join b aa
job2: c join d cc
job3: aa join cc
说明:job1和job2可以并行执行。

JVM重用

它是对map/reduce 运行的任务,一个jvm可以运行多个map 任务。小数据可以使用jvm重用。性能可以提升70%

Reduce的数据

默认reduce的任务是一个,可以根据自己的业务进行手动调整,不断测试把它调节到一个合适的值。

推测执行

说明:MapReduce调优,默认启用的,最后把它关闭掉,这只为false。
场景:运行reduce时,有的慢,有的快,applicationMaster在另外一个机器上启动一个一模一样的reduce,那个先完成用那个。

Map数据

说明:依照块的大小来


image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容