spark安装（单机）

1.在该网站下载spark，这里仅进行单机版安装


Paste_Image.png

2.解压spak压缩包


Paste_Image.png

3.运行pyspark
Paste_Image.png

4.读取行数和第一行


Paste_Image.png

5.读取含Python字符的行，读取第一行
Paste_Image.png

6.在conf文件夹中，复制log4j的模板文件，然后在下图位置将INFO改为WARN
Paste_Image.png

7.新建外部.py文件 
from pyspark import SparkContext,SparkConf

conf=SparkConf().setMaster("local").setAppName("My App")
sc=SparkContext(conf=conf)
lines=sc.textFile("README.md")
print lines.count()

8.按图示运行，得到文件行数


Paste_Image.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容