我们在执行sparkStreaming程序时，可能有shuffle的情况，shuffle除了常见的会出现数据不均衡的情况，还有可能会出现shuffle read时间不均匀的情况，如下图的情况
shuffle read不均匀.png
每个task的条数还是比较均匀的
每个task处理条数.jpg
如果你的项目中出现了这种情况，可以调节两个参数实现优化
// 单次最大拉取请求数，这个设置过大容易造成分区数据所在节点压力大，设置太小会大大影响并发拉取数据的效率，默认Int.MaxValue
.set("spark.reducer.maxReqsInFlight","512")
// 单次每个reduce任务能同时从map output拉取的最大数据量，如果资源不够的话还是要小一点，默认48m
.set("spark.reducer.maxSizeInFlight","128m")
欢迎对技术感兴趣的小伙伴一起交流学习^^
