1.Hadoop调度器分为三类:
FIFO、Capacity Scheduler(容量调度器)和Fair Scheduler(公平调度器)。Hadoop 2.X默认的资源调度器是容量调度器。
2.区别
FIFO调度器:先进先出
Capacity Scheduler:支持多个队列源量进行限制,选择一个正在运行的任务数与其计算资源之间比例最小的队列,队列内任务按照作业优先级、提交时间、用户资源量限制和内存限制进行排序。
Fair Scheduler:支持多队列多用户,每个队列中的资源量可以配置,同一个队列中的作业公平共享队列中所有资源,每个队列中的job按照优先级分配资源,优先级越高分配越多。在资源有限的情况下,每个job理想获得的计算资源与真实获得的计算资源的差值叫作差额,同一队列中,job的资源缺额越大,越优先执行,可以多个任务同时运行。
Hadoop调度器
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
相关阅读更多精彩内容
- 一、引言 Yarn在Hadoop的生态系统中担任了资源管理和任务调度的角色。在讨论其构造器之前先简单了解一下Yar...
- (转载:http://www.mamicode.com/info-detail-1097801.html) 一、调...
- 1 . Java static variables: We can use static keyword with...