1.原理
只针对Spark自带的Standalone资源调度框架,因为Yarn本身就是高可用的
Standalone集群只有一个Master,如果Master挂了就无法提交应用程序,需要给Master进行高可用配置,Master的高可用有两种实现方式:fileSystem(文件系统)和zookeeper(分布式协调服务)。
fileSystem只有存储功能,可以存储Master的元数据信息,用fileSystem搭建的Master高可用,在Master失败时,需要我们手动启动另外的备用Master,这种方式不推荐使用。
zookeeper有选举和存储功能,可以存储Master的元素据信息,使用zookeeper搭建的Master高可用,当Master挂掉时,备用的Master会自动切换,推荐使用这种方式搭建Master的HA。
2.master HA配置
1) 在Spark Master节点上配置主Master,配置spark-env.sh文件
2) 发送到其他worker节点上(node02,node03)
3) 找一台节点(非主Master节点,此处我选择的是node02)配置备用 Master,修改spark-env.sh配置节点上的SPARK_Master_IP为node02
4) 启动集群之前启动zookeeper集群,在node02,node03,node04节点上zkServer.sh start:
5) 启动spark Standalone集群,手动启动备用Master
6) 打开主Master和备用Master WebUI页面,观察状态
7)尝试kill掉 主master进程
刷新备master的web UI界面发现 Status状态切换为ALIVE
3. 注意点
1):主备切换过程中不能提交Application。
2):主备切换过程中不影响已经在集群中运行的Application。因为Spark是粗粒度资源调度。