240 发简信
jinxing
IP属地：山西
  • Spark shuffle-write 和 shuffle-read 中对数据倾斜情况的处理

    主要想回答两个问题： map端(shuffle-write)如何对数据进行分片? reduce端(shuffle-read)如何读取数据？ Sh...

    3206 1 1
  • Spark driver启动Task的流程

    Spark内部有两大类操作，Transformation和Action；Transformation又分窄依赖操作和宽依赖操作，区分这两种操作的...

    670 0 0
  • Spark 动态资源分配下数据本地性导致的作业运行缓慢

    CoarseGrainedSchedulerBackend 以 spark.scheduler.revive.interval 默认1s调用ma...

    1201 0 0
暂无个人介绍