tu

一、判断是否是数据倾斜

看读取时间：数据来源，如Kafka，数据库读取

运行本身：数据问题

二、数据处理：

1）数据预处理

一是hive或sparkSQL预处理，过滤无用的key，或者在闲时处理倾斜数据

二是key-value 改为 key-values 的形式

2）动态监控key，利用redis等内存级别的数据库，并做处理。或添加key处理流程

三、改变并行度

1）算子指定（reduceByKey）

2）spark.defaule.paraller (80-100)cores的2-3倍

3）使用coalesce改变分区（repartition 会造成shuffle）

4）在读取数据时指定，比如textfile，minPartitions

5）继承父类RDD中的分区

四、mapJoin：将小的RDD进行广播

拓展：特殊情况，也可将大的数据进行广播，可以减少shuffle和内存使用，限制条件高（内存要大于数据量）

五、对key进行处理

1）抽样，取出数据倾斜的key：单独处理或者加随机数

2）大量倾斜的key，对一个RDD进行扩容N，另一个RDD进行随机数N。N越大，越不容易数据倾斜。但是会造成其他性能问题