【机器学习】搭建pySpark ML开发环境

  1. 安装pyCharm；
  2. 安装python，选用python 2.7.9版本；
  3. 安装py4j包：
    从py4j 0.10.4(https://pypi.python.org/pypi/py4j/0.10.4)链接下载py4j包，这里选的是py4j 0.10.4版本
    解压py4j包，打开py4j文件夹，在此路径下打开cmd，执行python setup.py install命令
  4. 安装numpy：
    从https://pypi.python.org/pypi/numpy 路径下载numpy包，这里选择的是[numpy-1.13.3-cp27-none-win_amd64.whl]版本。在放置whl的路径下执行pip install numpy-1.13.3-cp27-none-win_amd64.whl命令即可
  5. 下载hadoop和spark包，选用的版本是hadoop-2.4.0（https://archive.apache.org/dist/hadoop/common/）和spark-2.1.0-bin-hadoop2.4.tgz（http://spark.apache.org/downloads.html）（基于hadoop-2.4.0的预编译版本）
  6. 将spark解压目录下python/pyspark包拷贝至python安装路径下的lib/site-packages下面
  7. pyCharm 配置Run configuration
    SPARK_HOME = spark包解压目录
    PYTHONPATH = %SPARK_HOME%/python
  8. 如果想直接在pyCharm里面运行pySpark程序，需要保证spark Driver用的python版本（spark-2.1.0默认用的是python2.7）和pyCharm配置的python版本是一致的，否则会报版本不匹配错误：
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容