Hadoop完全分布式原理

如图有6台机器,其中1号为老大,老大分为两组,一组是HDFS的老大namenode,一组是MapReduce的老大resourcemanager(它跟yarn公用同一套进程)。2号为备份的老大,只有namenode(所以它只管HDFS)。为了防止压力过大,"把老大一分为2"。resourceManager放在了3号节点上(所以它只管MapReduce)。由zookeeper来监听1,2,3号节点的健康状态。2号和3号节点都处于备份状态。4号,5号,6号为小弟,也要做nodemanager(HDFS小弟)——存数据和datanode(MapReduce小弟)——处理数据,这两个角色不能分开(分开时处理数据会浪费时间)。JournalNode只同步元数据(存储的,丢失了就不好拼到一块)信息,因为处理的信息在内存里(一宕机数据就会丢失,但是重新计算还是可以接受的)。JournalNode最好是基数台(宕机可重新选举,保证高可用),这里为了节省机器数量,全放在了4,5,6号机器上。


但是,如果是生产环境下,会做成如下的形式。


正常情况下,3号节点不工作,节点一做老大的所有工作。2号节点做1号节点的备份工作和文件的合并的工作。


1号节点宕机,2、3号节点马上工作。


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 终极算法 关注微信号每天收听我们的消息终极算法为您推送精品阅读 前言 Hadoop 在大数据技术体系中的地位至关...
    Yespon阅读 130,472评论 12 168
  • HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系...
    大佛爱读书阅读 887评论 0 0
  • 1.自知之明,承认自己的智商平平,而并非高人一等,过去可能取得过的一点点成绩除了占据了天时地利人和以外,还有不可或...
    不将就的每一天阅读 142评论 0 0
  • 半夜感慨得感冒, 鼻涕抱怨被拧掉, 喷嚏争先来报到, 一打一打啊啊叫...... 爸爸咧嘴哈哈笑, 大宝哆嗦吓一跳...
    旺火火阅读 242评论 0 2
  • make_move_iterator:将普通迭代器转为移动迭代器。定义在头文件iterator中,声明在命名空间s...
    szn好色仙人阅读 149评论 0 0