宽窄依赖与Spark开发流程

  1. 窄依赖(narrow dependency)

1.1 定义

一个父RDD的partition至少被子RDD的某个partition使用一次

1.2 Example


map.png

union.png

joinWithInputCo-partition.png

1.3 窄依赖优点

没有data re-distribution, 窄依赖错误恢复更容易
  1. 宽依赖

2.1 宽依赖定义

一个父RDD的partitiom会被子RDD的partition使用多次
groupByKey.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容