本篇讲解Hive大表N：N关联的小笛卡尔积+数据倾斜的优化方法
上一篇SMB Join发现卡在一个map，看日志发现comm_id=102073766数据量很大,检查数据分布
comm_id=102073766以外,top20数据量都在2500-4000,3873* 3873≈1600w,问题不大,4w*4w=16亿 问题很大
我们知道Mapjoin可以解决大笛卡尔积,所以改用SMBjoin+Mapjoin,只将comm_id=102073766 单拎出来做Map join
1.建分桶表
2.插入分桶表(剔除comm_id=102073766)
3.SMB Join
4.comm_id=102073766建A表(利用distubute by, 做160个block)
5.再建一张只有1个block的B表,与A表数据相同
6.Map join 将b表广播到A表160个maptask关联
最后将两张结果表union all
代码太长就不贴了，参数前两篇都有，意思到了就行
本篇总结：SMB Join可以解决小笛卡尔积,但相同的key都会在同一个task中join,无法解决数据倾斜。将数据倾斜的key单拎出来做Mapjoin,两者配合食用, 这样就可以解决小笛卡尔积+数据倾斜Join.
