构建一个由Master + Slave 构成的 Spark 集群,Spark 运行在集群中。
这个要和Hadoop 中的 Standalone 区别开来. 这里的 Standalone 是指只用 Spark 来搭建一个集群, 不需要借助其他的框架.是相对于 Yarn 和 Mesos 来说的.
进入Spark/conf配置文件目录下,配置spark-evn.sh
cd conf/
mv spark-env.sh.template spark-env.sh
1. 在spark-env.sh文件中配置如下内容:
SPARK_MASTER_HOST=hadoop102
SPARK_MASTER_PORT=7077#默认端口就是7077, 可以省略不配
2. 修改slaves文件, 添加 worker 节点
mv slaves.template slaves
3. 在slaves文件中配置如下内容:
hadoop103
hadoop104
4. sbin/spark-config.sh中添加入JAVA_HOME
vi spark-config.sh
export JAVA_HOME=/opt/module/jdk8
5. 分发 spark-standalone
scp -r /opt/module/spark hadoop103:/opt/module/
scp -r /opt/module/spark hadoop104:/opt/module/
scp /etc/profile root@hadoop103:/etc
scp /etc/profile root@hadoop104:/etc source
/etc/profile 刷新配置
6. 启动Spark集群
sbin/start-all.sh
7.使用jps查看,或者在网页中查看Spark集群情况