(1)Hadoop 2.0组成:
HDFS:数据存储
MapReduce:计算
Yarn:资源调度
Common:辅助工具
(2)HDFS 框架概述
HDFS(Hadoop Distributed File System)的架构概述:
1.NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数和文件权限等),以及每个文件的块列表和块所在的datanode等
2.DataNode:在本地文件系统中存储文件块数据,以及块数据的校验和
3.SecondaryNameNode:每个一段时间对NameNode进行数据备份
(3) Yarn架构概述
ResourceManager主要作用:处理客户端请求;监控nodemanager;启动或监控ApplicationMaster;资源的分配和调度
NodeManager主要作用:管理单个节点上的资源;处理来自ResourceManager的命令;处理来自MRAppMaster的命令
ApplicationMaster的作用:负责数据的切分;为应用程序申请资源并分配给内部的任务;任务的监控与容错
Container:Yarn中资源的抽象,封装了多维度的资源,如CPU、磁盘、网络带宽等。
相关文章:Hadoop2.0中yarn中的resourcemanager的作用