spark的键值对的行动操作

先上图

from pyspark import SparkContext

if __name__ == "__main__":
    master = "local"
    if len(sys.argv) == 2:
        master = sys.argv[1]
    try:
        sc.stop() 
    except:
        pass
    sc = SparkContext(master, 'test')

 
    RDD1 =sc.parallelize( (("a", 4.0), 
                           ("e", 4.4), 
                          ("f", 4.3),
                          ("b", 4.7),
                          ("c", 4.9), 
                          ("d", 4.5),
                                 ))
    print(RDD1.countByKey())
    print(RDD1.collectAsMap())
    print(RDD1.lookup("d"))

结果:
可以看到RDD1.countByKey()是对键进行计数,
RDD1.collectAsMap()是输出字典,
RDD1.lookup("d")是直接输出查找的值

defaultdict(<class 'int'>, {'f': 1, 'c': 1, 'a': 1, 'd': 1, 'b': 1, 'e': 1})
{'f': 4.3, 'c': 4.9, 'a': 4.0, 'd': 4.5, 'b': 4.7, 'e': 4.4}
[4.5]
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容