Hadoop--Hadoop集群守护进程

  • 1 namenode :它是hadoop中的主服务器,管理文件系统名称空间和对集群中存储的文件的访问,保存有 metadate;
  • 2 QuorumPeerMain: Zookeeper集群启动的入口类是QuorumPeerMain来加载配置启动QuorumPeer线程。
  • 3 journalnode 两个NameNode为了数据同步,会通过一组称作JournalNodes的独立进程进行相互通信。当active状态的NameNode的命名空间有任何修改时,会告知大部分的JournalNodes进程。standby状态的NameNode有能力读取JNs中的变更信息,并且一直监控edit log的变化,把变化应用于自己的命名空间。standby可以确保在集群出错时,命名空间状态已经完全同步了
  • 4 DFSZKFailoverController: 是hadoop-2.7.x中HDFS NameNode HA实现的中心组件,它负责整体的故障转移控制等。它是一个守护进程,通过main()方法启动,继承自ZKFailoverController。
  • 5 resourcemanager: 在YARN中,ResourceManager负责集群中所有资源的统一管理和分配,它接收来自各个节点(NodeManager)的资源汇报信息,并把这些信息按照一定的策略分配给各个应用程序(实际上是ApplicationManager)。
  • 6 DataNode: Datanode是文件系统的工作节点,他们根据客户端或者是namenode的调度存储和检索数据,并且定期向namenode发送他们所存储的块(block)的列表。
  • 7 nodemanager: 是YARN中每个节点上的代理,它管理hadoop集群中单个计算节点,包括与ResourceManger保持通信,监督container的生命周期管理,监控每个Container的资源使用(内存、CPU等)情况,追踪节点健康状况,管理日志和不同应用程序用到的附属服务。

Attention Please--文章来自互联网资料整理,如有雷同,纯属李小李抄袭,如有侵权请联系删除 From 李小李

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Hadoop HA集群搭建文档.............................................
    钟敏_1788阅读 1,502评论 0 0
  • 若HDFS集群中只配置了一个NameNode,那么当该NameNode所在的节点宕机,则整个HDFS就不能进行文件...
    fad2aa506f5e阅读 646评论 0 5
  • 一、系统参数配置优化 1、系统内核参数优化配置 修改文件/etc/sysctl.conf,添加如下配置,然后执行s...
    张伟科阅读 3,829评论 0 14
  • 二 、 HDFS体系结构 HDFS 采用的是master/slave架构设计 , 一个HDFS集群包含一个单独的 ...
    什么都不会的码农丶阅读 1,597评论 0 1
  • 梅雨是夏的情绪, 有时歇斯底里,有时冷若冰霜。 叶子是树的情绪, 落了又长,长了又落,满世界的铺张。 而你,是我的...
    chips_avz阅读 313评论 0 0