pySpark API 词频统计(5)

#1 本地计算

pyhont xx.py

#2 提交集群

spark-submit --py-files pyspark_wordcount.zip pyspark_wordcount.py

提交spark的时候，我们往往python工程是多个python文件，彼此之间有调用关系。 

那如何提交python工程呢？ 

./bin/spark-submit --py-files XXXX.zip aaa.py

XXXX是你将你所有需要用到的python文件打包成一个zip文件 

aaa是你的python文件的main函数所在的py文件。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容