7.2 MapReduce的体系结构

一、结构概览

MapReduce主要由四部分组成：Client、JobTracker、TaskScheduler和TaskTracker

二、客户端Client

作用：
(1) 用户编写的应用程序要通过Client来提交给JobTracker。
(2) 用户可以通过Client提供的接口查看所提交作业的运行状况。

作用：
(1) 负责资源监控和作业调度
(2) 监控底层TaskTracker和当前运行Job的健康状况
(3) 在节点失效时，转移Job到其他以节点继续运行
(4) 跟踪任务执行进度和资源使用量，并把信息发送给TaskScheduler

作用是根据JobTracker发送的任务进度和资源使用信息，决定把哪个任务分发给哪个节点的TaskTracker执行。
TaskScheduler是一个可插拔模块，即允许用户自己编写任务调度策略。

(1) 分布在各个机器（节点）上，接收JobTracker发来的命令，具体都执行各种任务
(2) 把资源使用情况和任务运行进度以heartbeat的方式发送给JobTraker以供其监控

分为Map Task和Reduce Task。一台机器可以同时运行Map Task和Reduce Task。

每个TaskTracker都会把计算资源（CPU、内存等）打包，然后等分成很多份，以Slot作为当量。
Slot分为Map类型和Reduce类型两种，分别执行Map Task和Reduce Task。只有空闲的Slot才会被TaskScheduler分配新的任务。

最后编辑于：2020.04.19 10:55:19

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。