资源调度YARN

1.x

  • master/slave: jobTracker/taskTracker
  • JobTrack: 单点、压力大
  • 仅仅只能够支持mapreduce作业,资源利用率低、运维成本高

yarn

  • 资源管理 rm nm
  • 作业调度 am

client

向rm提交任务,杀死任务等

am

  • 每一个应用程序对应一个am
  • am想rm申请资源,用于在nm上启动对应的task
  • 数据切分
  • 为每个task向rm申请资源(container)
  • nm通信
  • 任务的监控

nm

  • 干活,多个
  • 想rm发送心跳信息、任务的执行情况
  • 接收来着rm的请求来启动任务
    *处理来着am的命令

rm

处理来着客户端的请求:提交、杀死
启动、监控am
监控nm
资源相关

container

  • 任务的运行抽象,memory,cpu
  • task是运行在container里面的
  • 可以运行am、也可以运行map/resuce task
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容