Spark通信--client、master、worker间的通信

转载自  http://www.wangsenfeng.com/articles/2016/10/26/1477467509513.html

Client:提交作业。

Master:接收作业,启动Driver和Executor,管理Worker。 

Worker:管理节点资源,启动Driver和Executor。


(1)Client to Master

RegisterApplication:注册应用。 


(2)Master to Client 

RegisteredApplication:注册应用后,回复给Client。

ExecutorAdded:通知Client Worker已经启动了Executor,当向Worker发送Launch-Executor时,通知Client Actor。 

ExecutorUpdated:通知Client Executor状态已更新。


(3)Master to Worker 

LaunchExecutor:启动Executor。 

RegisteredWorker:Worker注册的回复。 

RegisterWorkerFailed:注册Worker失败的回复。 

KillExecutor:停止Executor进程。 


(4)Worker to Master

RegisterWorker:注册Worker。

Heartbeat:周期性地Master发送心跳信息。

ExecutorStateChanged:通知Master,Executor状态更新。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容