1.空值引发的数据倾斜
解决方法:
1)可以直接不让null值参与join操作,即不让null值有shuffle阶段
2)因为null值参与shuffle时的hash结果是一样的,那么我们可以给null值随机赋值,这样它们的hash结果就不一样,就会进到不同的reduce中WHEN a.user_id IS NULL THEN concat('hive_', rand())
2.不同数据类型引发的数据倾斜
解决方法:直接把int类型都转为string就好了
3.不可拆分大文件引发的数据倾斜
解决方法:对文件进行压缩时,为避免因不可拆分大文件而引发数据读取的倾斜,在数据压缩的时候可以采用bzip2和Zip等支持文件分割的压缩算法
4.数据膨胀引发的数据倾斜
解决方法:这样的情况通常是使用了with rollup,拆分上面的sql,将with rollup拆分成如下几个sql
5.表连接时引发的数据倾斜
解决方法:将倾斜的数据存到分布式缓存中,分发到各个Map任务所在节点。在Map阶段完成join操作,即MapJoin,这避免了 Shuffle,从而避免了数据倾斜,主要是在参数的地方做设置
5.确实无法减少数据量引发的数据倾斜
解决方法:这类问题最直接的方式就是调整reduce所执行的内存大小。做一张中间临时表