RDD依赖关系

Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系

窄依赖：一个父RDD的一个分区只会对应于一个子RDD的一个分区。

                  下图： 父对子是一对一的算子

                    1> Map／Filter ;

                    2>对输入进行协同划分的join

宽依赖：一个父RDD的一个分区对应于一个子RDD的多个分区

                  下图：父对子是一对多的算子

                    1> groupByKey;

                    2>未经过协同划分的 join


©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容