Mac 下面的 Spark 初安装

  1. 安装JAVA, 配置好环境变量
    下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
  1. 下载Spark pre-build for Hadoop 版本的,配置环境变量
    下载地址: https://spark.apache.org/downloads.html
export SPARK_HOME=/Blabla/spark-2.2.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
  1. 安装 scala,配置环境变量
    安装指令:brew install scala
export SPARK_DEV=1
export SCALA_HOME=/usr/local/Cellar/scala

配置好之后 source 一下 bashrc ,
输入命令 spark-shell,看到控制台输出 welcome to spark 的相关信息

  1. Pycharm 相关配置
    4.1 在相关项目的配置里面,增加
    PYTHONPATH=/blabla/spark-2.2.0-bin-hadoop2.7/python
    SPARK_HOME=/blabla/spark-2.2.0-bin-hadoop2.7
    4.2 将 spark-2.2.0-bin-hadoop2.7/python/pyspark/ 复制到 Library/Python/2.7/site-packages 下面,这样
    代码里面的 from pyspark.sql import SparkSession 就关联到源码,不会有错误提示了
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容