win10系统Pycharm配置spark环境

当时学Scala没怎么学好,先入为主,所以平时用python 写的比较多点,刚接触的小白失去觉得好难啊,想着我把我的过程总结下来,平时长看看比较好,每个人的情况都不同,但,,反正参考参考吧。

前提:配置好python ,Hadoop (win10),安装好pycharm.


spark

1. 下载-解压。首先下载spark,可以去官网去下,我这里是spark 2.2.0版本。然后解压到相应文件夹下

2. 复制-粘贴。将spark目录下的 ---> python目录下的 --> pyspark文件夹 复制粘贴到 python目录下的 -- >lib 目录下的 --> site-packges里面;

3. 在C:/Users/Administrator/下创建pip文件夹,在里面新建pip.ini,内容添加:

[global]      

 trusted-host=mirrors.aliyun.com            

index-url=http://mirrors.aliyun.com/pypi/simple/

4. pip安装:pip install py4j ipython

5. 新建项目。在pycharm --->run -->edit configuration -->设置路径

PYTHONPATH  F :\spark文件路径\python 和 SPARK_HOME F:\spark路径

注意:有时候打开edit configuration 里面没有文件,特别是新建完项目的时候。这时要跑一下py文件,然后再打开就有内容了。

6.spark\bin下更改pyspark2.cmd文件。第二十八行改为:

set PYSPARK_DRIVER_PYTHON=ipython


©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容