spark初试牛刀（python）

一.需要环境

1.python
2.pyspark
3.spark

二.代码

from pyspark import SparkConf, SparkContext
conf = SparkConf().setMaster("local[*]").setAppName("First_App")  #配置环境
sc = SparkContext(conf=conf) #加载环境
textFile = sc.textFile('example.txt') #读取文件
count = textFile.countByValue()  #统计单词频数
print(count)
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容