2.容器 container
cpu+memory
3.Yarn架构设计 主从 资源和作业调度管理
RM:
Applications Manager:应用程序管理器
Scheduler: 调度器
先进先出调度器
计算调度器
公平调度器
NM: 节点上资源和作业管理器
APP MANAGER:
APP MASTER: 一个job只有一个 主程序(spark driver)
Yarn平台一般运行>=0
4.yarn常用命令
yarn application -list
yarn application -kill application_1527403090076_0002
5.Yarn调度器
先进先出调度器 FIFO:
计算调度器 Capacity Scheduler
公平调度器 Fair Scheduler
CDH 动态资源池
memory不够 cpu够 : oom错误 作业停止
memory够 cpu不够: 作业慢
生产场景:
1.计算及时性要求比较高: memory不够 快速出结果 cpu足够的
2.反正:cpu不够
生产场景:
1.计算及时性要求比较高: memory不够 快速出结果 cpu足够的
2.反正:cpu不够