Spark从入门到精通2：Spark伪分布模式的安装和配置

Spark的安装模式一般分为三种：1.伪分布模式：即在一个节点上模拟一个分布式环境，master和worker共用一个节点，这种模式一般用于开发和测试Spark程序；2.全分布模式：即真正的集群模式，master和worker部署在不同的节点之上，一般至少需要3个节点（1个master和2个worker），这种模式一般用于实际的生产环境；3.HA集群模式：即高可用集群模式，一般至少需要4台机器（1个主master，1个备master，2个worker），这种模式的优点是在主master宕机之后，备master会立即启动担任master的职责，可以保证集群高效稳定的运行，这种模式就是实际生产环境中多采用的模式。本小节先来介绍Spark的伪分布模式的安装和配置。

安装介质：
jdk-8u162-linux-x64.tar.gz 提取码：2bh8
hadoop-2.7.3.tar.gz 提取码：d4g2
scala-2.12.6.tgz 提取码：s2ly
spark-2.1.0-bin-hadoop2.7.tgz 提取码：5kcf

1. 准备Linux环境

1.1 安装Linux操作系统

安装Linux操作系统比较简单，这里不再详细。参考：《Linux从入门到精通1：使用 VMware Workstation 14 Pro 安装 CentOS 7 详细图文教程》

1.2 关闭防火墙

关闭Selinux：
临时关闭：# setenforce 0
永久关闭：# vi /etc/selinux/config，
修改其中的参数：SELINUX=disabled，按Esc:qw保存退出。

关闭iptables：
安装服务：# yum -y install iptables-services
临时关闭：# systemctl stop firewalld.service
永久关闭：# systemctl disable firewalld.service

1.3 设置静态IP

编辑网卡配置文件：# vi /etc/sysconfig/network-scripts/ifcfg-ens33
修改参数：BOOTPROTO=static
追加参数：
ONBOOT=yes
IPADDR=192.168.179.111
NETMASK=255.255.255.0
GATEWAY=192.168.254.2
DNS1=8.8.8.8
DNS2=119.29.29.29
重启网络服务：# systemctl restart network.service
查看配置的IP地址：# ip add 或者 # ifconfig -a
测试IP是否可用：# curl www.baidu.com 或者 # ping www.baidu.com

1.4 设置主机名

方式1：[root@localhost ~]# hostnamectl set-hostname spark111
方式2：编辑配置文件：[root@localhost ~]# vi /etc/hostname，
清空内容后写入：spark111
重新打开终端会显示新的主机名：[root@spark111 ~]#

1.5 主机名和IP的映射关系

编辑hosts配置文件：# vi /etc/hosts
追加一行：192.168.179.111 spark111
测试主机名是否可用：# ping spark111

1.6 配置免密码登录

（1）使用ssh-keygen工具生成秘钥对：

# ssh-keygen -t rsa
私钥：Your identification has been saved in /root/.ssh/id_rsa.
公钥：Your public key has been saved in /root/.ssh/id_rsa.pub.

（2）将生成的公钥发给自己：

# ssh-copy-id -i /root/.ssh/id_rsa.pub root@spark111

（3）测试秘钥认证是否成功：

# ssh root@spark111

直接回车即可登录，不用输入密码，说明免密码登录配置成功。

2. 安装JDK

2.1 上传JDK安装包

使用winscp工具将JDK安装包jdk-8u144-linux-x64.tar.gz上传到/root/tools/目录中，该目录是事先创建的。

# ls /root/tools/
jdk-8u144-linux-x64.tar.gz

2.2 解压JDK安装包

进入/root/tools/目录，将jdk安装包解压到/root/training/目录中，该目录也是事先创建的。

# cd /root/tools/
# pwd
/root/tools
# tar -zxvf jdk-8u144-linux-x64.tar.gz -C /root/training/

2.3 配置Java环境变量

# cd /root/trainings/jdk1.8.0_144/
# pwd
/root/trainings/jdk1.8.0_144
# vi /root/.bash_profile
在文件末尾追加如下内容：
JAVA_HOME=/root/training/jdk1.8.0_144
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
按Esc:wq保存退出，使用source命令使配置文件立即生效：
# source /root/.bash_profile

2.4 测试JDK是否安装成功

# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

3. 安装Hadoop

3.1 上传Hadoop安装包

使用winscp工具将Hadoop安装包hadoop-2.7.3.tar.gz上传到/root/tools/目录。

# ls /root/tools/
hadoop-2.4.1.tar.gz jdk-8u162-linux-x64.tar.gz

3.2 解压Hadoop安装包

进入/root/tools/目录，将hadoop安装包解压到/root/training/目录。

# cd /root/tools/
# tar -zxvf hadoop-2.7.3.tar.gz -C /root/training/

3.3 配置Hadoop环境变量

# cd /root/training/hadoop-2.7.3/
# pwd
/root/training/hadoop-2.7.3
# vim /root/.bash_profile
在文件末尾追加如下内容：
HADOOP_HOME=/root/training/hadoop-2.7.3
export HADOOP_HOME
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH
按Esc:wq保存退出，使用source命令使配置文件立即生效：
# source /root/.bash_profile

3.4 配置Hadoop参数

进入Hadoop配置文件目录：

# cd /root/training/hadoop-2.7.3/etc/hadoop

(1)配置hadoop-env.sh文件：

# vim hadoop-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144

(2)配置hdfs-site.xml文件：

# vim hdfs-site.xml
<configuration>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

(3)配置core-site.xml文件：

# mkdir /root/training/hadoop-2.7.3/tmp
# vim core-site.xml
<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.179.111:9000</value>
</property>

<property>
<name>hadoop.tmp.dir</name>
<value>/root/training/hadoop-2.7.3/tmp</value>
</property>
</configuration>

(4)配置mapred-site.xml文件：
将模板文件mapred-site.xml.template重命名位mapred-site.xml然后编辑：

# mv mapred-site.xml.template mapred-site.xml
# vim mapred-site.xml
<configuration>

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

(5)配置yarn-site.xml文件：

# vim yarn-site.xml
<configuration>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.179.111</value>
</property>

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

3.5 对NameNode进行格式化

# hdfs namenode -format

出现下面的日志说明格式化成功：
18/05/27 16:13:55 INFO common.Storage: Storage directory
/root/training/hadoop-2.7.3/tmp/dfs/name has been successfully formatted.

3.6 启动Hadoop伪分布模式

# start-all.sh

启动成功后，使用jps命令查看开启的进程：

# jps
4792 ResourceManager
4474 DataNode
4892 NodeManager
4335 NameNode
4639 SecondaryNameNode
5199 Jps

使用命令行查看HDFS的状态：

# hdfs dfsadmin -report

使用浏览器查看HDFS的状态：

http://192.168.179.111:50070

使用浏览器查看YARN的状态：

http://192.168.179.111:8088

3.7 测试WordCount程序

(1)在HDFS上创建输入目录/input：

# hdfs dfs -mkdir /input

(2)将本地数据文件data.txt上传至该目录：

# hdfs dfs -put /root/input/data.txt /input

# hdfs dfs -ls /input
Found 1 items
-rw-r--r-- 1 root supergroup 60 2018-05-27 16:29 /input/data.txt

# hdfs dfs -cat /input/data.txt
I love Beijing
I love China
Beijing is the capital of China

(3)进入到Hadoop的示例程序目录：

# cd /root/training/hadoop-2.7.3/share/hadoop/mapreduce

(4)执行示例程序中的Wordcount程序，以HDFS上的/input/data.txt作为输入数据，

输出结果存放到HDFS上的/out/wc目录下：

# hadoop jar hadoop-mapreduce-examples-2.7.3.jar \
wordcount /input/data.txt /output/wc

(5)查看进度和结果：

可以通过终端打印出来的日志信息知道执行进度：

18/05/27 16:32:03 INFO mapreduce.Job: map 0% reduce 0%
18/05/27 16:32:11 INFO mapreduce.Job: map 100% reduce 0%
18/05/27 16:32:21 INFO mapreduce.Job: map 100% reduce 100%

执行结束后可以在HDFS上的/out/wc目录下查看是否有_SUCCESS标志文件来判断是否执行成功。

# hdfs dfs -ls /output/wc
Found 2 items
-rw-r--r-- 1 root supergroup 0 2018-05-27 16:32 /output/wc/_SUCCESS
-rw-r--r-- 1 root supergroup 55 2018-05-27 16:32 /output/wc/part-r-00000

如果执行成功，可以在输出目录下看到_SUCCESS标志文件，且可以在part-r-00000文件中查看到wordcount程序的结果：

# hdfs dfs -cat /output/wc/part-r-00000
Beijing 2
China 2
I 2
capital 1
is 1
love 2
of 1
the 1

3.8 停止Hadoop伪分布模式

# stop-all.sh

4. 安装Scala

4.1 上传Scala安装包

使用winscp工具将Scala安装包scala-2.12.6.tgz上传到/root/tools目录下：

# cd /root/tools/
# ls
scala-2.12.6.tgz

4.2 解压Scala安装包

进入/root/tools目录，将Scala安装包解压到安装目录/root/training/：

# tar -zxvf scala-2.12.6.tgz -C /root/training/

4.3 配置Scala环境变量

将Scala的家目录加入到环境变量PATH中：

# cd /root/training/scala-2.12.6/
# pwd
/root/training/scala-2.12.6
# vim /root/.bash_profile
SCALA_HOME=/root/training/scala-2.12.6
export SCALA_HOME
PATH=$SCALA_HOME/bin:$PATH
export PATH

使环境变量生效：

# source /root/.bash_profile

4.4 验证Scala是否安装成功

输入scala命令，如下进入scala环境，则证明scala安装成功：

# scala
Welcome to Scala 2.12.6 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144).
Type in expressions for evaluation. Or try :help.

scala>

5. 安装Spark

5.1 上传Spark安装包

使用winscp工具将Spark安装包spark-2.1.0-bin-hadoop2.7.tgz上传到/root/tools目录下：

# ls /root/tools/
spark-2.1.0-bin-hadoop2.7.tgz

5.2 解压Spark安装包

进入/root/tools目录，将Spark安装包解压到安装目录/root/training/下：

# tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C /root/training/

5.3 配置Spark环境变量

# cd /root/training/spark-2.1.0-bin-hadoop2.7/
# pwd
/root/training/hadoop-2.7.3/
# vim /root/.bash_profile

注意：由于Spark的命令脚本和Hadoop的命令脚本有冲突（比如都有start-all.sh和stop-all.sh等），
所以这里需要注释掉Hadoop的环境变量，添加Spark的环境变量：

#HADOOP_HOME=/root/training/hadoop-2.7.3
#export HADOOP_HOME
#PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#export PATH
SPARK_HOME=/root/training/spark-2.1.0-bin-hadoop2.7
export SPARK_HOME
PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
export PATH

按Esc:wq保存退出，使用source命令使配置文件立即生效：

# source /root/.bash_profile

5.4 配置Spark参数

进入Spark的配置文件目录下：

# cd /root/training/spark-2.1.0-bin-hadoop2.7/conf/

(1)配置spark-env.sh文件：

# cp spark-env.sh.template spark-env.sh
# vim spark-env.sh
export JAVA_HOME=/root/training/jdk1.8.0_144
export HADOOP_HOOME=/root/training/hadoop-2.7.3
export HADOOP_CONF_DIR=/root/training/hadoop-2.7.3/etc/hadoop
export SCALA_HOME=/root/training/scala-2.12.6
export SPARK_MASTER_HOST=spark111
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=1G

(2)配置slaves文件：

# cp slaves.template slaves
# vim slaves
spark111

5.5 启动Spark伪分布模式

# start-all.sh
starting org.apache.spark.deploy.master.Master, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.master.Master-1-spark111.out
spark111: starting org.apache.spark.deploy.worker.Worker, logging to
/root/training/spark-2.1.0-bin-hadoop2.7/logs/
spark-root-org.apache.spark.deploy.worker.Worker-1-spark111.out

查看进程：

# jps
6513 Master
6596 Worker

使用浏览器监控Spark的状态：

image

5.6 使用spark-shell

使用spark-shell命令进入SparkContext（即Scala环境）：

# spark-shell
Setting default log level to "WARN".
……
Welcome to
____ __
/ / ___ _____/ /__
\ / _ / _ `/ / '/
// ./_,// // _\ version 2.1.0
/_/

Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_144)
Type in expressions to have them evaluated.
Type :help for more information.

scala>

启动了spark-shell之后，可以使用4040端口访问其Web控制台页面(注意：如果一台机器上启动了多个spark-shell，即运行了多个SparkContext，那么端口会自动连续递增，如4041,4042,4043等等)：