Spark的安装模式一般分为三种：1.伪分布模式：即在一个节点上模拟一个分布式环境，master和worker共用一个节点，这种模式一般用于开发和测试Spark程序；2.全分布模式：即真正的集群模式，master和worker部署在不同的节点之上，一般至少需要3个节点（1个master和2个worker），这种模式一般用于实际的生产环境；3.HA集群模式：即高可用集群模式，一般至少需要4台机器（1个主master，1个备master，2个worker），这种模式的优点是在主master宕机之后，备master会立即启动担任master的职责，可以保证集群高效稳定的运行，这种模式就是实际生产环境中多采用的模式。本小节来介绍Spark的全分布模式的安装和配置。
安装介质：
jdk-8u162-linux-x64.tar.gz 提取码：2bh8
hadoop-2.7.3.tar.gz 提取码：d4g2
scala-2.12.6.tgz 提取码：s2ly
spark-2.1.0-bin-hadoop2.7.tgz 提取码：5kcf
1. 准备Linux环境
准备3台Linux主机，按照下面的步骤在每台主机上执行一遍，设置成如下结果：
master：192.168.179.112
slave1：192.168.179.113
slave2：192.168.179.114
以master节点为例：
1.1 安装Linux操作系统
安装Linux操作系统比较简单，这里不再详细。参考：《Linux从入门到精通1：使用 VMware Workstation 14 Pro 安装 CentOS 7 详细图文教程》
1.2 关闭防火墙
关闭Selinux：
临时关闭：# setenforce 0
永久关闭：# vi /etc/selinux/config
修改其中的参数：SELINUX=disabled，按Esc:qw保存退出。关闭iptables：
安装服务(选做)：# yum -y install iptables-services
临时关闭：# systemctl stop firewalld.service
永久关闭：# systemctl disable firewalld.service
1.3 设置静态IP
编辑网卡配置文件：
# vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改参数：BOOTPROTO=static
追加参数：
ONBOOT=yes
IPADDR=192.168.179.112
NETMASK=255.255.255.0
GATEWAY=192.168.254.2
DNS1=8.8.8.8
DNS2=119.29.29.29
重启网络服务：
# systemctl restart network.service
查看配置的IP地址：
# ip add 或者 # ifconfig -a
测试IP是否可用：
# curl www.baidu.com 或者 # ping www.baidu.com
1.4 设置主机名
方式1：[root@localhost ~]# hostnamectl set-hostname master
方式2：编辑配置文件：[root@localhost ~]# vi /etc/hostname，
清空内容后写入：master
重新打开终端会显示新的主机名：[root@master ~]#
1.5 主机名和IP的映射关系
编辑hosts配置文件：# vi /etc/hosts，追加3行：
192.168.179.112 master
192.168.179.113 slave1
192.168.179.114 slave2
测试主机名是否可用：
# ping master
# ping slave1
# ping slave2
1.6 配置3台主机两两之间的免密码登录
（1）使用ssh-keygen工具生成秘钥对：
# ssh-keygen -t rsa
私钥：Your identification has been saved in /root/.ssh/id_rsa.
公钥：Your public key has been saved in /root/.ssh/id_rsa.pub.
（2）将生成的公钥发给三台主机：master、slave1、slave2：
# ssh-copy-id -i /root/.ssh/id_rsa.pub root@master
# ssh-copy-id -i /root/.ssh/id_rsa.pub root@slave1
# ssh-copy-id -i /root/.ssh/id_rsa.pub root@slave2
（3）测试秘钥认证是否成功：
# ssh root@master
# ssh root@slave1
# ssh root@slave2
直接回车即可登录，不用输入密码，说明免密码登录配置成功。
1.7. 同步3台主机的时间（选做）
由于各个主机上的时间可能不一致，会导致执行Spark程序出现异常，因此需要同步各个主机的时间。在实际生成环境中，一般使用时间服务器来同步时间，但是搭建时间服务器相对较为复杂。这里介绍一种简单的方法来快速同步每台主机主机的时间。我们知道，使用date命令可以设置主机的时间，因此这里使用putty的插件MTPuTTY来同时向每一台主机发送date命令，以到达同步时间的目的。
（1）使用MTPuTTY工具连接三台主机，点击MTPuTTY工具的Tools菜单下的“Send script…”子菜单，打开发送脚本工具窗口。
（2）输入命令：date -s 2018-05-28，然后回车（注意：一定要回车，否则只发送不执行），在下面服务器列表中选择要同步的主机，然后点击“Send script”，即可将时间同步为2018-05-28 00:00:00。
2. 安装JDK
2.1 上传JDK安装包
使用winscp工具将JDK安装包jdk-8u144-linux-x64.tar.gz上传到/root/tools/目录中，该目录是事先创建的。
# ls /root/tools/
jdk-8u144-linux-x64.tar.gz
2.2 解压JDK安装包
进入/root/tools/目录，将jdk安装包解压到/root/training/目录中，该目录也是事先创建的。
# cd /root/tools/
# pwd
/root/tools
# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /root/training/
2.3 配置Java环境变量
# cd /root/trainings/jdk1.8.0_144/
# pwd
/root/trainings/jdk1.8.0_144
# vi /root/.bash_profile
在文件末尾追加如下内容：
JAVA_HOME=/root/training/jdk1.8.0_144
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
按Esc:wq保存退出，使用source命令使配置文件立即生效：
# source /root/.bash_profile
2.4 测试JDK是否安装成功
# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
3. 安装Hadoop全分布模式
以下步骤在master节点上执行：
3.1 上传Hadoop安装包
使用winscp工具将Hadoop安装包hadoop-2.7.3.tar.gz上传到master节点的/root/tools/目录中，该目录是事先创建的。
# ls /root/tools/
hadoop-2.7.3.tar.gz
3.2 解压Hadoop安装包
进入/root/tools/目录，将hadoop安装包解压到/root/training/目录中，该目录也是事先创建的。
# cd /root/tools/
# tar -zxvf hadoop-2.7.3.tar.gz -C /root/training/
3.3 配置Hadoop环境变量（3台主机上都做一遍）
# cd /root/training/hadoop-2.7.3/
# pwd
/root/trainings/hadoop-2.7.3
# vim /root/.bash_profile
在文件末尾追加如下内容：
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
按Esc:wq保存退出，使用source命令使配置文件立即生效：
[root@master hadoop-2.6.1]# source /root/.bash_profile
3.4 配置Hadoop全分布模式的参数
进入Hadoop配置文件目录：
# pwd
/root/training/hadoop-2.7.3/etc/hadoop
(1) 配置hadoop-env.sh文件：
# echo $JAVA_HOME
/root/training/jdk1.8.0_144
# vim hadoop-env.sh
#export JAVA_HOME=${JAVA_HOME}
export JAVA_HOME=/root/training/jdk1.8.0_144
(2) 配置hdfs-site.xml文件：
# vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
(3) 配置core-site.xml文件：
# mkdir /root/training/hadoop-2.7.3/tmp
# vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.179.112:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>
</configuration>
(4) 配置mapred-site.xml文件：
将模板文件mapred-site.xml.template拷贝一份重命名为mapred-site.xml然后编辑：
# cp mapred-site.xml.template mapred-site.xml
# vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
(5) 配置yarn-site.xml文件：
# vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
(6) 配置slaves文件：
# vim slaves
slave1
slave2
3.5 对NameNode进行格式化
# hdfs namenode -format
出现下面的日志说明格式化成功：
18/05/28 00:26:54 INFO common.Storage: Storage directory
/root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.
3.6 分发安装包给从节点
将master上配置好的Hadoop安装目录分别复制给两个从节点slave1和slave2，并验证是否成功。
[root@master hadoop]# cd /root/training
[root@master training]# ls
hadoop-2.7.3 jdk1.8.0_144
[root@master training]# scp -r hadoop-2.7.3/ root@slave1:/root/training/
[root@master training]# scp -r hadoop-2.7.3/ root@slave2:/root/training/
[root@slave1 ~]# cd /root/training/
[root@slave1 training]# ls
hadoop-2.7.3 jdk1.8.0_144
[root@slave2 ~]# cd /root/training/
[root@slave2 training]# ls
hadoop-2.7.3 jdk1.8.0_144
3.7 在master上启动Hadoop全分布模式：
[root@master ~]# start-all.sh
第一次启动需要输入yes继续。
Are you sure you want to continue connecting (yes/no)? yes
启动成功后，使用jps命令查看各个节点上开启的进程：
[root@master ~]# jps
2960 NameNode
3141 SecondaryNameNode
3286 ResourceManager
3551 Jps
[root@slave1 ~]# jps
2850 NodeManager
2950 Jps
2744 DataNode
[root@slave2 ~]# jps
2738 DataNode
2952 Jps
2844 NodeManager
使用命令行查看HDFS的状态：
[root@master ~]# hdfs dfsadmin -report
使用浏览器查看HDFS的状态：
http://192.168.179.112:50070
使用浏览器查看YARN的状态：
http://192.168.179.112:8088
3.8 测试WordCount程序
(1) 在HDFS上创建输入目录/input：
[root@master ~]# hdfs dfs -mkdir /input
(2) 将本地数据文件data.txt上传至该目录：
[root@master ~]# hdfs dfs -put /root/data.txt /input
[root@master ~]# hdfs dfs -ls /input
Found 1 items
-rw-r--r-- 2 root supergroup 60 2018-05-28 00:47 /input/data.txt
[root@master ~]# hdfs dfs -cat /input/data.txt
I love Beijing
I love China
Beijing is the capital of China
(3) 进入到Hadoop的示例程序目录：
[root@master ~]# cd /root/training/hadoop-2.7.3/share/hadoop/mapreduce
(4) 执行示例程序中的Wordcount程序，以HDFS上的/input/data.txt作为输入数据，输出结果存放到HDFS上的/out/wc目录下：
[root@master mapreduce]# hadoop jar hadoop-mapreduce-examples-2.7.3.jar \
wordcount /input/data.txt /output/wc
(5) 查看进度和结果：
可以通过终端打印出来的日志信息知道执行进度：
18/05/28 00:49:04 INFO mapreduce.Job: map 0% reduce 0%
18/05/28 00:49:16 INFO mapreduce.Job: map 100% reduce 0%
18/05/28 00:49:25 INFO mapreduce.Job: map 100% reduce 100%
18/05/28 00:49:25 INFO mapreduce.Job: Job job_1527439126686_0001 completed successfully
执行结束后可以在HDFS上的/out/wc目录下查看是否有_SUCCESS标志文件来判断是否执行成功。
[root@master mapreduce]# hdfs dfs -ls /output/wc
Found 2 items
-rw-r--r-- 2 root supergroup 0 2018-05-28 00:49 /output/wc/_SUCCESS
-rw-r--r-- 2 root supergroup 55 2018-05-28 00:49 /output/wc/part-r-00000
如果执行成功，可以在输出目录下看到_SUCCESS标志文件，且可以在part-r-00000文件中查看到wordcount程序的结果：
[root@master mapreduce]# hdfs dfs -cat /output/wc/part-r-00000
Beijing 2
China 2
I 2
capital 1
is 1
love 2
of 1
the 1
4. 安装Scala
由于Scala只是一个应用软件，只需要安装在master节点即可。
4.1 上传Scala安装包
使用winscp工具将Scala安装包上传到master节点的/root/tools目录下：
# cd /root/tools/
# ls
scala-2.12.6.tgz
4.2 解压Scala安装包
进入/root/tools目录，将Scala安装包解压到安装目录/root/training/：
# tar -zxvf scala-2.12.6.tgz -C /root/training/
4.3 配置Scala环境变量（三台机器都做一遍）
将Scala的家目录加入到环境变量PATH中：
# cd /root/training/scala-2.12.6/
# pwd
/root/training/scala-2.12.6
# vim /root/.bash_profile
SCALA_HOME=/root/training/scala-2.12.6
export SCALA_HOME
PATH=$SCALA_HOME/bin:$PATH
export PATH
使环境变量生效：
# source /root/.bash_profile
4.4 将Scala安装包分发给从节点
# cd /root/training
# scp -r scala-2.12.6 root@slave1:/root/training
# scp -r scala-2.12.6 root@slave1:/root/training
4.5 验证Scala是否安装成功（三台机器都验证）
输入scala命令，如下进入scala环境，则证明scala安装成功：
# scala
Welcome to Scala 2.12.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144).
Type in expressions for evaluation. Or try :help.scala>
5. 安装Spark
我们先在master节点上配置好参数，再分发给两个从节点slave1和slave2。
5.1 上传Spark安装包
使用winscp工具将Spark安装包上传到master节点的/root/tools目录下：
# ls /root/tools/
spark-2.1.0-bin-hadoop2.7.tgz
5.2 解压Spark安装包
进入/root/tools目录，将Spark安装包解压到安装目录/root/training/下：
# tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /root/training/
5.3 配置Spark环境变量（三台机器都做一遍）
# cd /root/training/spark-2.1.0-bin-hadoop2.7/
# pwd
/root/training/hadoop-2.7.3/
# vim /root/.bash_profile
注意：由于Spark的命令脚本和Hadoop的命令脚本有冲突（比如都有start-all.sh和stop-all.sh等），
所以这里需要注释掉Hadoop的环境变量，添加Spark的环境变量：
#HADOOP_HOME=/root/training/hadoop-2.7.3
#export HADOOP_HOME
#PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#export PATH
SPARK_HOME=/root/training/spark-2.1.0-bin-hadoop2.7
export SPARK_HOME
PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export PATH
按Esc:wq保存退出，使用source命令使配置文件立即生效：
# source /root/.bash_profile
5.4 配置Spark参数
进入Spark的配置文件目录下：
# cd /root/training/spark-2.1.0-bin-hadoop2.7/conf/
(1) 配置spark-env.sh文件：
# cp spark-env.sh.template spark-env.sh
# vim spark-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144
export HADOOP_HOOME=/root/training/hadoop-2.7.3
export HADOOP_CONF_DIR=/root/training/hadoop-2.7.3/etc/hadoop
export SCALA_HOME=/root/training/scala-2.12.6
export SPARK_MASTER_HOST=master
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1G
(2) 配置slaves文件：
# cp slaves.template slaves
# vim slaves
slave1
slave2
5.5 分发安装包给从节点
将master上配置好的Spark安装目录分别复制给两个从节点slave1和slave2，并验证是否成功。
[root@master conf]# cd /root/training
[root@master training]# ls
hadoop-2.7.3 jdk1.8.0_144 scala-2.12.6 spark-2.1.0-bin-hadoop2.7
[root@master training]# scp -r spark-2.1.0-bin-hadoop2.7/ root@slave1:/root/training/
[root@master training]# scp -r spark-2.1.0-bin-hadoop2.7/ root@slave2:/root/training/
[root@slave1 ~]# cd /root/training/
[root@slave1 training]# ls
hadoop-2.7.3 jdk1.8.0_144 spark-2.1.0-bin-hadoop2.7
[root@slave2 ~]# cd /root/training/
[root@slave2 training]# ls
hadoop-2.7.3 jdk1.8.0_144 spark-2.1.0-bin-hadoop2.7
5.6 在master节点上启动Spark全分布模式
[root@master ~]# start-all.sh
starting org.apache.spark.deploy.master.Master, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.master.Master-1-master.out
slave1: starting org.apache.spark.deploy.worker.Worker, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.worker.Worker-1-slave1.out
slave2: starting org.apache.spark.deploy.worker.Worker, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.worker.Worker-1-slave2.out
启动后查看每个节点上的进程：
[root@master ~]# jps
2960 NameNode
3141 SecondaryNameNode
3286 ResourceManager
4620 Jps
4541 Master
[root@slave1 ~]# jps
2850 NodeManager
3767 Jps
2744 DataNode
3704 Worker
[root@slave2 ~]# jps
2738 DataNode
3490 Jps
2844 NodeManager
3422 Worker
使用浏览器监控Spark的状态：
5.7 使用spark-shell
使用spark-shell命令进入SparkContext（即Scala环境）：
[root@master ~]# spark-shell
Setting default log level to "WARN".
……
Welcome to
____ __
/ / ___ _____/ /__
\ / _ / _ `/ / '/
// ./_,// //_\ version 2.1.0
/_/Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144)
Type in expressions to have them evaluated.
Type :help for more information.scala>
启动了spark-shell之后，可以使用4040端口访问其Web控制台页面(注意：如果一台机器上启动了多个spark-shell，即运行了多个SparkContext，那么端口会自动连续递增，如4041,4042,4043等等)：
5.8 停止Spark伪分布模式
[root@master ~]# stop-all.sh
slave2: stopping org.apache.spark.deploy.worker.Worker
slave1: stopping org.apache.spark.deploy.worker.Worker
stopping org.apache.spark.deploy.master.Master
注意：由于我们将Hadoop从环境变量中注释掉了，这时只能手动进入到Hadoop的sbin目录停止Hadoop：
[root@master ~]# cd /root/training/hadoop-2.7.3/sbin/
[root@master sbin]# ./stop-all.sh
This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
Stopping namenodes on [master]
master: stopping namenode
slave2: stopping datanode
slave1: stopping datanode
Stopping secondary namenodes [0.0.0.0]
0.0.0.0: stopping secondarynamenode
stopping yarn daemons
stopping resourcemanager
slave2: stopping nodemanager
slave1: stopping nodemanager
slave1: nodemanager did not stop gracefully after 5 seconds: killing with kill -9
no proxyserver to stop
Spark中常用的端口总结：
- master端口：7077
- master Web端口：8080
- spark-shell 端口：4040
