为了学习spark,自己在mac上搞了一个单机版的spark,一切还算顺利,安装过程如下(默认jdk已经成功安装):
1、安装Scala
下载压缩包并解压
首先我们要到官网下载安装包。官网传送门: http://www.scala-lang.org/download/
我下载的是scala-2.12.3.tar.
下载后进入安装包所在目录进行解压操作:
tar -zxvf scala-2.12.3.tar
添加环境变量
执行如下命令打开配置文件:
vim ~/.bash_profile
添加如下两行:
export SCALA_HOME=你Scala的路径/scala
export PATH=$PATH:$SCALA_HOME/bin
添加结束后推出编辑配置文件,使用如下的命令使配置生效:
source ~/.bash_profile
检验是否配置生效
在命令行输入scala,并测试一段简单的语句,证明scala安装成功:
输入:q可以退出scala的交互环境。
2、Spark安装
下载压缩包并解压
到官网下载spark的安装包,我用的是spark-2.1.1-bin-hadoop2.7.tgz
使用如下的命令进行解压:
tar -zxvf spark-2.1.1-bin-hadoop2.7.tgz
修改配置文件
解压后进入conf 文件夹下将 spark-env.sh.template 改名为 spark-env.sh,并修改 spark-env.sh 文件添加信息:
export SCALA_HOME=/Users/yangyibo/Software/scala
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_92.jdk/Contents/Home
export SPARK_MASTER_IP=192.168.100.176
export SPARK_WORKER_MEMORY=512m
export master=spark://192.168.100.176:7070
上面的ip地址需要替换成你自己电脑的ip,可以使用ifconfig命令查看。
随后,修改 slaves.template 添加信息:
master
配置环境变量
执行如下命令打开配置文件:
vim ~/.bash_profile
添加如下信息:
export SPARK_HOME=你的spark路径
export PATH=$PATH:$SPARK_HOME/bin
添加结束后推出编辑配置文件,使用如下的命令使配置生效:
source ~/.bash_profile
验证安装情况
进入安装包的sbin 目录执行 start-all.sh 脚本
./start-all.sh
如果出现上面的错误,其实是没问题的,因为是单机版,所以ssh并不需要配置
启动后进入spark 的bin 目录运行spark-shell 进入终端。
./spark-shell
如果看到下面的结果,就证明你安装成功啦,你就可以直接在交互环境中编写scala和spark语句啦。
停止spark
进入spark的sbin目录,执行命令
$ ./stop-all.sh