Yarn介绍

MapReduce v2最基本的设计思想是将JobTracker的两个主要功能，即资源管理和作业调度及监控拆分为两个独立的进程。在该解决方案中包含两个组件：全局的Resource Manager和与每个应用相关的Application Master，ResourceManager和NodeManager（NM，每个节点一个）共同组成整个数据计算框架。

ResourceManager

RM负责整个集群的资源管理和分配，是一个全局的资源调度系统。这里是纯调度工作，不再负责监控或者跟踪应用的执行状态，也不负责重新启动因应用执行失败或者硬件故障而产生的失败任务，这些工作都交由AM执行。

NodeManager

NM是每个节点上的资源和任务管理器，定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；同时，它还接收并处理来自AM的Container启动/停止等各种请求。

ApplicationMaster

用户提交的每个应用程序均包含1个AM，主要功能包括：

• 与RM调度器协商以获取资源（用Container表示）；
• 将得到的任务进一步分配给内部的任务；
• 与NM通信以启动/停止任务；
• 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

Container

Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示的。YARN会为每个任务分配一个Container，且该任务只能使用该Container中描述的资源。会把程序的jar包也拷贝到容器内存中。
Yarn工作流程
yarn的工作流程如下图所示：

image

Yarn调度算法及相关配置

FIFO Scheduler

Yarn集群默认自带，不需要任何配置，并不适用于共享集群（多租户场景），耗时长的任务会导致后提交的任务一直处于等待状态，如果这个集群是多用户共享的，显然不合适。

[图片上传失败...(image-3635e5-1595569808205)]

Capacity Scheduler（容器调度器）

Capacity Schedule调度器以队列为单位划分资源。一个个队列有独立的资源，队列的结构和资源是可以进行配置的，如下图：

image.png

default队列占30%资源，analyst和dev分别占40%和30%资源；类似的，analyst和dev各有两个子队列，子队列在父队列的基础上再分配资源。队列以分层方式组织资源，设计了多层级别的资源限制条件以更好的让多用户共享一个Hadoop集群，比如队列资源限制、用户资源限制、用户应用程序数目限制。队列里的应用以FIFO方式调度，每个队列可设定一定比例的资源最低保证和使用上限，同时，每个用户也可以设定一定的资源使用上限以防止资源滥用。而当一个队列的资源有剩余时，可暂时将剩余资源共享给其他队列。

相关配置

开启调度器

在ResourceManager中配置它要使用的调度器，配置方式是修改conf/yarn-site.xml，设置属性：

<property>
    <name>yarn.resourcemanager.scheduler.class</name>   
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

配置队列

调度器的核心就是队列的分配和使用了，修改conf/capacity-scheduler.xml可以配置队列。
Capacity调度器默认有一个预定义的队列——root,所有的队列都是它的子队列。队列的分配支持层次化的配置，使用.来进行分割，比如yarn.scheduler.capacity.<queue-path>.queues
下面是配置的样例，比如root下面有三个子队列:

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>a,b,c</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>
<property>
  <name>yarn.scheduler.capacity.root.a.queues</name>
  <value>a1,a2</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>
<property>
  <name>yarn.scheduler.capacity.root.b.queues</name>
  <value>b1,b2,b3</value>
  <description>The queues at the this level (root is the root queue).
  </description>
</property>

队列属性

yarn.scheduler.capacity.<queue-path>.capacity

它是队列的资源容量占比(百分比)。系统繁忙时，每个队列都应该得到设置的量的资源；当系统空闲时，该队列的资源则可以被其他的队列使用。同一层的所有队列加起来必须是100%。

yarn.scheduler.capacity.<queue-path>.maximum-capacity

队列资源的使用上限。由于系统空闲时，队列可以使用其他的空闲资源，因此最多使用的资源量则是该参数控制。默认是-1，即禁用。

yarn.scheduler.capacity.<queue-path>.minimum-user-limit-percent

每个任务占用的最少资源。比如，你设置成了25%。那么如果有两个用户提交任务，那么每个任务资源不超过50%。如果3个用户提交任务，那么每个任务资源不超过33%。如果4个用户提交任务，那么每个任务资源不超过25%。如果5个用户提交任务，那么第五个用户需要等待才能提交。默认是100，即不去做限制。

yarn.scheduler.capacity.<queue-path>.user-limit-factor

每个用户最多使用的队列资源占比，如果设置为50.那么每个用户使用的资源最多就是50%。

Fair Scheduler（公平调度）

Fair调度器的设计目标是为所有的应用分配公平的资源（对公平的定义可以通过参数来设置）。公平调度也可以在多个用户间工作。举个例子，假设有两个用户A和B，他们分别拥有一个队列。当A启动一个job而B没有任务时，A会获得全部集群资源；当B启动一个job后，A的job会继续运行，不过一会儿之后两个任务会各自获得一半的集群资源。如果此时B再启动第二个job并且其它job还在运行，则它将会和B的第一个job共享B这个队列的资源，也就是B的两个job会用于四分之一的集群资源，而A的job仍然用于集群一半的资源，结果就是资源最终在两个用户之间平等的共享。

image.png

Fair调度器的配置文件位于类路径下的fair-scheduler.xml文件中，这个路径可以通过yarn.scheduler.fair.allocation.file属性进行修改。我们可以在配置文件中配置每一个队列，并且可以像Capacity调度器一样分层次配置队列。比如，参考capacity-scheduler.xml来配置fair-scheduler：

image.png