几种常见的spark任务提交模式

[if !supportLists]2.1.1 [endif]YARN Clu

图2-4 YARN Cluster 模式

在YARN  Cluster  模式下,任务提交后会和ResourceManager  通讯申请启动

ApplicationMaster,随后ResourceManager  分配container,在合适的NodeManager

上启动ApplicationMaster,此时的ApplicationMaster 跟Driver在一个NodeManager上,但当有多个App任务时,Driver会分布在多个NodeManager上面,因为Driver要与client通信,Driver在同一个NodeManager上会对网络的要求很高。

Driver 启动后向ResourceManager 申请Executor 内存,ResourceManager 接到

ApplicationMaster 的资源申请后会分配container,然后在合适的NodeManager 上启动Executor 进程,Executor 进程启动后会向Driver 反向注册,Executor 全部注册完成后Driver 开始执行main 函数,之后执行到Action 算子时,触发一个job,并根据宽依赖开始划分stage,每个stage  生成对应的taskSet,之后将task  分发到各个

Executor 上执行。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容