终生学习丶

Spark shuffle是什么 Shuffle在Spark中即是把父RDD中的KV对按照Key重新分区，从而得到一个新的RDD。也就是说原本同属于父RDD同一个分区的数据需...

西门无忌

1.spark的shuffleManager是负责shuffle过程的执行、计算和处理的组件。shuffleManager是trait，主要实现类有两个：HashShuffl...

liuzx32

Shuffle调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作 业的性能更...

明哥聊求职

我家有句祖训，是我爷爷讲的：好汉不挣有数的钱。 工作了这么多年，有时间我就会找机会做点事，贴补下收入，可能也是受了这句话的影响，分享下我的经历吧。 我是做技术出身，玩计算机混...