yarn执行流程
1.client请求 Resource Manager;
2.Resource Manager计算出容器占多大资源和在哪台机器上启动 NodeManager;
2. Resource Manager和Node Manager建立通信;
3.给定资源创建容器;
3.Node Manager给 Resource Manager返回cpu,内存等信息;
4.
讲义精简版:
步骤1:用户将应用程序提交到 ResourceManager 上;
步骤2:ResourceManager为应用程序 ApplicationMaster 申请资源,并与某个 NodeManager 通信启动第一个 Container,以启动 ApplicationMaster;
步骤3:ApplicationMaster 与 ResourceManager 注册进行通信,为内部要执行的任务申请资源,一旦得到资源后,将于 NodeManager 通信,以启动对应的 Task;
步骤4:所有任务运行完成后,ApplicationMaster 向 ResourceManager 注销,整个应用程序运行结束。
JobHistoryServer 的启动命令
mr-jobhistory-daemon.sh start historyserver