hadoop之Yarn

资源调度器:(面试重点)

  主要有三种:FIFO,capacityScheduler  Fair Scheduler

 FIFO(先进先出调度器):按照到达的时间排序,先到先服务,单个队列

Capacity Scheduler(容量调度器):支持多个队列,实现并发,每个队列采用FIFO调度策略,首先计算每个队列中正在运行的任务数与其应分得的计算资源之间的比值,选择一个比值最小的队列。

  Fair Scheduler(公平调度器):理想情况下,应获得的计算资源和实际获得的计算资源之间的差距,这种差距叫做缺额

任务的推测执行:

   发现有拖后腿的任务,为拖后腿的任务启动一个备份任务,同时运行,谁先执行完,则采用谁的结果,

【推测任务的前提条件】

每个task只能有一个备份任务,当前任务已完成的task必须不小于5%

 不能启用推测执行机制的情况:存在负载倾斜;特殊任务

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 目录1 Hadoop1.x和Hadoop2.x架构区别2 Yarn概述3 Yarn基本架构4 Yarn工作机制5 ...
    Movle阅读 617评论 0 7
  • 1 概述 Yarn 是一个资源调度平台,负责为运算程序提供服务器运算资源,相当于一个分布式的操作系统平台,而 Ma...
    djm猿阅读 145评论 0 0
  • 1.YARN 本质上是资源管理系统。YARN提供了资源管理和资源调度等机制 1.1原 Hadoop MapRedu...
    yoku酱阅读 857评论 0 0
  • 旧的MapReduce架构 JobTracker:负责资源管理,跟踪资源消耗和可用性,作业生命周期管理(调度作业任...
    Ten_Minutes阅读 273评论 0 0
  • Yarn是Hadoop2.0引入的集群资源管理系统。用户可以将各种服务框架部署在Yarn上,由Yarn进行统一地管...
    TZX_0710阅读 564评论 0 1