需要先安装Hadoop2.7完全分布式集群搭建。
一、安装Scala
1.下载scala-2.11.8.tgz,并解压
tar -zxvf ~/Downloads/scala-2.11.8.tgz -C /usr/local
2.修改Scala-2.11.8目录所属用户和用户组
sudo chown -R hadoop /usr/local/scala-2.11.8
3.修改环境变量文件
sudo vim ~/.bashrc
添加一下内容
#scala Env
export SCALA_HOME=/usr/local/scala-2.11.8
export PATH=$PATH:$SCALA_HOME/bin
使环境变量生效
source ~/.bashrc
4.验证Scala安装
image.png
5.slave机器安装同上（1-4）
二、安装spark
1.下载spark-2.1.1-bin-hadoop2.7.tgz
2.解压并移动到相应目录
sudo tar -zxvf ~/Downloads/spark-2.1.1-bin-hadoop2.7.tgz -C /usr/local
sudo mv /usr/local/spark-2.1.1-bin-hadoop2.7 /usr/local/spark #修改目录名字
sudo chown -R hadoop /usr/local/spark
3.修改环境变量
sudo vim ~/.bashrc
添加一下内容
#spark Env
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
三、spark配置
1.进入spark配置目录，修改spark-env.sh
cd /usr/local/spark/conf #进入目录
cp spark-env.sh.template spark-env.sh #复制模板
sudo vim spark-env.sh #编辑复制的模板
添加一下配置信息：
export SCALA_HOME=/usr/local/scala-2.11.8
export JAVA_HOME=/usr/local/jdk1.8.0_131
export SPARK_MASTER_IP=192.168.1.103 #此处修改为自己master的ip
export SPARK_WORKER_MEMORY=10g
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
2.配置slaves
cd /usr/local/spark/conf
cp slaves.template slaves #复制重命名
sudo vim slaves
编辑其内容为：
Master
slave2
3.复制配置好的spark到slave机器
scp -r /usr/local/spark hadoop@slave2:~/Downloads
ssh slave2
cp ~/Downloads/spark /usr/local
sudo chown -R hadoop /usr/local/spark
四、启动spark集群
1、启动Hadoop集群
start-all.sh
jps #查看进程
image.png
在slave2上查看进程
image.png
2.启动spark集群
(1) 启动Master节点
运行start-master.sh，结果与启动Hadoop对比如下：
image.png
(2)启动worker节点
运行start-slaves.sh，运行结果与启动Hadoop对比如下：
image.png
