hdfs笔记

Yarn背景

Yarn全称为Yet Another Resource Negotiator。是一种资源管理器,负责集群资源的管理和调度,它可以实现对集群所有cpu,内存,文件系统,磁盘等各种资源的分配。
yarn是hadoop mapreduce的第二版本,解决version1的一些问题。

名词解释

Application Master (AM):
Resource Manager (RM):
Node Manager (NM):

The idea is to have a global ResourceManager (RM) and per-application ApplicationMaster (AM). An application is either a single job or a DAG of jobs.
The ResourceManager and the NodeManager form the data-computation framework. The ResourceManager is the ultimate authority that arbitrates resources among all the applications in the system. The NodeManager is the per-machine framework agent who is responsible for containers, monitoring their resource usage (cpu, memory, disk, network) and reporting the same to the ResourceManager/Scheduler.
The per-application ApplicationMaster is, in effect, a framework specific library and is tasked with negotiating resources from the ResourceManager and working with the NodeManager(s) to execute and monitor the tasks.

也就是说,RM和NM组成了数据计算框架,RM管理系统中所有资源的框架,NM是管理容器的机器级别的框架(管理机器cpu内存硬盘网络资源)并汇报给RM/Scheduler。应用级别的AM是框架定义的库,负责与RM协调资源,和NM一起执行并监控task。

Scheduler是RM的两个主要部分之一,分别是Scheduler和Applications Manager (ASM)。

yarn_architecture.gif

yarn并不能单独安装,只能通过部署hadoop来安装yarn。

参考

Apache Hadoop YARN
Architecture of Next Generation Apache Hadoop MapReduce Framework
hadoop杂记-为什么会有Map-reduce v2 (Yarn)
Deploying MapReduce v2 (YARN) on a Cluster

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • YarnYarn产生背景:Yarn直接来自于MR1.0MR1.0 问题:采用的是master slave结构,ma...
    时待吾阅读 6,135评论 2 23
  • HDFS hadoop 的基础分布式文件存储系统,分为NameNode和DataNode.NameNode负责存储...
    zoyanhui阅读 1,306评论 0 1
  • kerberos 介绍 阅读本文之前建议先预读下面这篇博客kerberos认证原理---讲的非常细致,易懂 Ker...
    PunyGod阅读 20,624评论 7 29
  • 她站在窗前穿,看着往来掠过窗台的飞鸟,眉目沉寂。 要等的那个人,也许正在等别人。 一日日捱过去,渐染埃尘,渐凉热血...
    吾生z阅读 359评论 0 1
  • 素,有“本来的,原有的”之意,用素来制作的衣服,穿在身上并能显示出范儿来,可不像素的本意那么简单。在化妆师满天飞的...
    如释笔记阅读 624评论 0 1

友情链接更多精彩内容