主要想回答两个问题： map端(shuffle-write)如何对数据进行分片? reduce端(shuffle-read)如何读取数据？ ShuffleMapTask中，指...
发简信
IP属地：内蒙古
-
Spark shuffle-write 和 shuffle-read 中对数据倾斜情况的处理
-
Spark driver启动Task的流程
Spark内部有两大类操作，Transformation和Action；Transformation又分窄依赖操作和宽依赖操作，区分这两种操作的很简单，RDD之间转化过程中没...
-
Spark 动态资源分配下数据本地性导致的作业运行缓慢
CoarseGrainedSchedulerBackend 以 spark.scheduler.revive.interval 默认1s调用makeoffers(), 在分配...