mac 下安装spark

(1) 安装jdk

https://www.oracle.com/technetwork/cn/java/javase/downloads/jdk8-downloads-2133151-zhs.html

目前是1.8版本,8u181, 181 代表第181次更新

(2)安装scala

scala 下载:http://www.scala-lang.org/files/archive/scala-2.13.0.tgz

mac 在特定目录,新建“Scala” 文件夹:command+shift+G,输入  /Users/gcy/

scala 下载:https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

将文件移到特定目录解压: cd /Users/gcy/Scala     >tar -xzf scala-2.13.0.tgz

打开配置全局环境变量脚本:sudo vim /etc/profile

添加环境变量:SCALA_HOME="/Users/gcy/Scala/scala-2.13.0"

export PATH="$PATH:/Users/gcy/Scala/scala-2.13.0/bin"

SHELL退出:按esc    输入:wq! 

更新脚本:source /etc/profile

命令行输入:scala    检测是否成功

scala 命令行退出::quit

(2)安装spark

spark 下载:https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz

将文件移到特定目录解压: cd /Users/gcy/Spark    >tar -xzf spark-2.3.3-bin-hadoop2.7

打开配置全局环境变量脚本:sudo vim /etc/profile

添加环境变量:SPARK_HOME="/Users/gcy/Spark/spark-2.3.3-bin-hadoop2.7"

                         export PATH=${PATH}:${SPARK_HOME}/bin

SHELL退出:按esc    输入:wq! 

更新脚本:source /etc/profile

命令行输入:spark-shell,检测spark 是否安装成功

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容