SPARK[RDD之dependencies]

Resilient Distributed Datasets

[rɪ'zɪlɪənt] 准确翻译为 容错的 并行的 数据结构 而不是弹性分布式数据集合
RDD提供了丰富的集合操作函数,来有别于hadoop中单调的mapreduce函数。

RDD作为数据结构,本质上是一个只读的分区记录集合。一个RDD可以包含多个分区,每个分区就是一个dataset片段。RDD可以相互依赖。如果RDD的每个分区最多只能被一个Child RDD的一个分区使用,则称之为narrow dependency;若多个Child RDD分区都可以依赖,则称之为wide dependency。不同的操作依据其特性,可能会产生不同的依赖。例如map操作会产生narrow dependency,而join操作则产生wide dependency。

RDD是粗粒度数据结构,每一次操作都会生成一个新的RDD,在RDD之间就会形成一个链表关系的前后依赖关系。


Paste_Image.png
Paste_Image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 该论文来自Berkeley实验室,英文标题为:Resilient Distributed Datasets: A ...
    九七学姐阅读 1,871评论 0 3
  • 原文链接 写在前面 本系列是综合了自己在学习spark过程中的理解记录 + 对参考文章中的一些理解 + 个人实践s...
    litaotao阅读 721评论 0 4
  • RDD的概述 RDD是只读的、分区记录的集合,是Spark编程模型的最主要抽象,它是一种特殊的集合,支持多种数据源...
    木戎阅读 3,309评论 0 2
  • 工作以后才知道学习的重要性,工作以前都在混日子,有时候非常后悔,大学四年那么自由的时间为什么没想清楚要做什么。不是...
    七月十五日雪阅读 128评论 0 0
  • 话音未落眼睛里珍珠般的泪珠已挤出 你夕阳下的身影已成为我的挂念 你我无从诉说 简陋的被子 单薄的上衣 你就这样去...
    左玲子阅读 291评论 0 3