1. row_number 数据倾斜
partition的字段,可能是倾斜的,单独领出来,union all俩部分
2. group by数据倾斜
group by 的一些字段存在极端值,比如0 1 null
3. map&reduce数量
reduce有集群默认的最大值,可能不够需要调整,同时map数过大的话,会影响任务
4. join 数据倾斜问题
合理设置map&reduce数量
0.4.SQLboy近期优化案例
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
