Spark算子:统计RDD分区中的元素及数量

Spark RDD是被分区的,在生成RDD时候,一般可以指定分区的数量,如果不指定分区数量,当RDD从集合创建时候,则默认为该程序所分配到的资源的CPU核数,如果是从HDFS文件创建,默认为文件的Block数。

​具体看例子:

​//创建一个RDD,默认分区15个,因为我的spark-shell指定了一共使用15个CPU资源//–total-executor-cores 15

rdd1 parititons

//统计rdd1每个分区中元素数量

partition中元素数量

//统计rdd1每个分区中有哪些元素

partition中元素

​//从HDFS文件创建的RDD,包含65个分区,因为该文件由65个Block

rdd2 partitions

//rdd2每个分区的元素数量

partition中元素数量

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容