spark standalone模式

standalone模式是spark自己的资源调度框架,由master和worker组成.
master有一个workerinfo的数组,里边有worker的基本信息,包括core数,内存,最后通信时间
master运行一个过滤的定时任务,按照worker的通信时间进行过滤,把断开的worker移除
worker启动后向master发送注册消息,包含自己的基本信息,每次心跳里边是没有当前的资源负载情况的,
因为spark是一个粗粒度的资源管理方式,master会记录每次执行任务时向worker申请了多少资源,当任务结束后,在加上这部分资源就可以了.

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容