在安装好Hadoop环境后，我们可以再安装Spark并运行集群。这其中有不少需要注意的地方，特别是配置信息比较多，而网上的介绍和书上的说明都有一定的缺失。本文把完整安装的流程步骤进行小结，帮助大家少走弯路。如果还未安装hadoop，请看我另一篇Hadoop完整安装配置流程的文章。
第一步：下载安装包并解压
在Linux系统中，使用浏览器前往Spark官网
http://spark.apache.org/downloads.html。首先，选择比较稳定的版本2.4.8，再选择Pre-built with user-provided Apache Hadoop。然后点击下载spark-2.4.8-bin-without-hadoop.tgz文件。通常，下载文件会存在固定的网页下载文件夹里。
下载完成后，可以通过图形界面或是命令行进入下载文件夹，将
spark-2.4.8-bin-without-hadoop.tgz文件复制到特定的软件包文件夹比如/opt/softwares，如果没有这个文件夹，可以新建一个，以后用来存放软件安装包。另外，在opt文件夹内再建立一个modules文件夹，用来存放解压后的spark文件夹。
接下来，在softwares文件夹内，通过输入命令来解压到/opt/modules中：
tar -zxvf spark-2.4.8-bin-without-hadoop.tgz -C /opt/modules
命令执行后，/opt/modules文件夹内会出现解压的文件夹 spark-2.4.8-bin-without-hadoop，然后使用命令来设置该文件夹的权限：
chmod -R a+w /opt
第二步：配置spark环境
这步非常关键，很多资料都没有完整地介绍如何配置，我在下方列出了配置流程。这里假设我们已经安装了5台centos7系统的虚拟机，分别为centos03,centos04,centos05,centos06,centos07。
配置slaves 文件
首先，进入spark-2.4.8-bin-without-hadoop文件夹内的conf文件夹。然后复制slaves模板slaves.template 为 slaves。命令为：
cp slaves.template slaves
然后，修改slaves文件中的内容，修改为：
这里我们设master为centos03，其他四台为worker。
配置spark-env.sh文件
同样，在conf文件夹中，复制spark-env.sh.template文件来创建我们的spark-env.sh文件。该文件详细配置了Spark的环境参数。首先，执行以下命令进行复制：
cp spark-env.sh.template spark-env.sh
然后使用vim spark-env.sh命令打开该文件，编辑添加下列内容。
配置解释如下：
JAVA_HOME是该虚拟机上JDK的地址
SPARK_MASTER_IP是该虚拟机设置的静态IP地址
SPARK_MASTER_PORT是master的访问端口
HADOOP_CONF_DIR是该虚拟机上Hadoop配置文件的位置
HADOOP_HOME是该虚拟机上HADOOP安装地址
SPARK_DIST_CLASSPATH是spark寻找hadoop class path的地址
LD_LIBRARY_PATH是动态链接库的安装路径
配置/etc/profile文件
然后，我们需要配置/etc/profile文件。这个文件是虚拟机上所有用户共享的配置。如果想要设置单独用户或是bash环境，可以设置bashrc或bash_profile。这里只设置/etc/profile。
使用命令打开该文件：sudo vim /etc/profile
添加SPARK的安装路径，并确认文件中已经添加了动态链接的地址。配置好的文件如下：
用:wq保存退出后，执行命令:source /etc/profile来使该配置生效。然后在其他四台虚拟机上重复配置该文件。
配置yarn-site.xml文件
另外，在之后执行spark集群时可能遇到内存检测相关的报错信息，这里需要提前修改yarn-site.xml文件。
首先，进入Hadoop的配置文件夹，该文件夹在hadoop的安装目录下的.../etc/hadoop里。
vim yarn-site.xml
打开文件后添加配置如下：
yarn.nodemanager.pmem-check-enabled默认是True，用来设定是否启动一个线程检查每个任务所使用的物理内存量；
yarn.nodemanager.vmem-check-enabled默认是True，用来设定是否启动一个线程检查每个任务所使用的虚拟内存量；
这两个参数都设为false。
然后在其他四台虚拟机上重复配置该文件。
本地模式测试
至此，我们在centos03上安装配置Spark的过程已经完成了。我们可以在该虚拟机上运行本地模式的Spark。比如在spark根目录下执行以下命令来计算PI:
bin/run-example SparkPi
注意，此时我们不需要启动Spark，运行结果如下：
此外，我们也可以在本地模式上运行spark-shell，并使用scala进行计算。
在终端中执行命令bin/spark-shell，效果如下：
如果要推出spark shell可以使用:quit命令
接下来，我们需要将Spark复制安装到其他四台虚拟机上来执行Spark的Standalone模式和onyarn集群模式。
第三步，复制spark文件夹到其他虚拟机
因为，spark是免安装包，环境文件也都在文件夹内，所以我们可以直接把配置好的spark安装文件夹复制到其他虚拟机节点上。在本机centos03上执行以下命令：
scp -r /opt/modules/spark-2.4.8-bin-without-hadoop/ hadoop@centos04:/opt/modules/
scp -r /opt/modules/spark-2.4.8-bin-without-hadoop/ hadoop@centos05:/opt/modules/
scp -r /opt/modules/spark-2.4.8-bin-without-hadoop/ hadoop@centos06:/opt/modules/
scp -r /opt/modules/spark-2.4.8-bin-without-hadoop/ hadoop@centos07:/opt/modules/
这里假设每台虚拟机上都建有一个用户名为hadoop，并且都配置好了免密访问。如果还未配置可以看我另一篇Hadoop完全安装配置的文章。
第四步，测试Spark集群
首先，我们启动Hadoop集群，执行以下命令：
start-all.sh
然后使用jps命令，可以看到6行内容，说明启动成功。但注意，如果内存不足的话，其他虚拟机上的NodeManager可能不会启动。
然后在master机即centos03中的Spark安装文件夹里，执行以下命令启动Spark：
./sbin/start-all.sh
启动后，再执行jps命令，可以看到centos03出现Master，其他虚拟机中出现Worker。
然后我们可以用浏览器在网页http://10.0.0.78:8080查看Spark的Web界面，这里10.0.0.78是centos03的ip地址。可以看到一个Master和四个Worker
第五步，Standalone集群测试(独立集群管理)
我们可以用--master来设置Spark的运行模式，如果要使用Standalone模式，即使用Spark自身的集群管理器，那么就使用--masterspark://HOST:PORT来进行设置，默认端口是7077。例一：使用Standalone模式运行应用程序Jar包
在终端中输入以下命令：
bin/spark-submit
--class org.apache.spark.examples.SparkPi --master
spark://centos03:7077 examples/jars/spark-examples_2.11-2.4.8.jar
运行结果如下：
例二：使用Standalone模式运行spark-shell:
在终端中输入以下命令：
bin/spark-shell --master spark://centos03:7077
然后就可以使用spark-shell来运行scale代码。
第六步，Hadoop-Yarn集群测试
如果我们要使用YARN集群管理器，那么需要把--master 设置为yarn-cluster模型。
例一，使用ON YARN模式运行应用程序Jar包
在终端中输入以下命令：
bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.4.8.jar
或是
bin/spark-submit
--class org.apache.spark.examples.SparkPi --master yarn deploy-mode
cluster examples/jars/spark-examples_2.11-2.4.8.jar
运行结果如下：
用浏览器打开网址
http://centos03:8088/proxy/application_1624426417523_0001/，再点击Logs，再点击stdout，可以看到结果如下：
例二：使用ON YARN模式运行spark-shell:
在终端中输入以下命令：
bin/spark-shell --master yarn
然后就可以使用spark-shell来运行scale代码。
到此，Spark的安装和初始配置都完成了，也进行了三种模式的测试。大家熟悉后可以自己探索更多的配置和使用方法！
