Spark API 详解/大白话解释 之 RDD、partition、count、collect

Spark API 详解/大白话解释 之 RDD、partition、count、collect - 郭同jet · 静心 - 博客频道 - CSDN.NET
http://blog.csdn.net/guotong1988/article/details/50554034

RDD定义:
任何数据在Spark中都被转换为RDD。
一个RDD可以看成是一个数组
不过是分到各个分区,分布在不同的机器上,可并行处理。
分区的定义: 一个RDD有多个RDD分区 一个RDD分区只在一个机器上 一个机器可有多个RDD分区 http://stackoverflow.com/questions/31359219/relationship-between-rdd-partitions-and-nodes
由数据转换为RDD:
举例:从普通数组创建RDD,里面包含了1到9这9个数字,它们分别在3个分区中。这个RDD一共9个元素,每个元素含有一个数字
val a = sc.parallelize(1 to 9, 3)
1

1

举例:读取本地文件README.md来创建RDD,文件中的每一行就是RDD中的一个元素,分区是2
val b = sc.textFile("README.md",2)
1

1

count( ) 返回RDD的元素个数
collect( ) 返回整个RDD
http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容