4.HDFS进阶:数据与元数据之间的关系

查看NameNode.java源文件

The NameNode controls two critical tables:

  1. filename->blocksequence (namespace)
  2. block->machinelist ("inodes")
    The first table is stored on disk and is very precious.
    The second table is rebuilt every time the NameNode comes up
    —— NameNode.java

文件名和blocksequence(块顺序)信息永久保存在namenode节点上
但是block位置信息则是存在于内存之中

查看Goole File System论文第2.6.2节(摘录)

namenode节点并不永久保存datanode所拥有副本的信息,而是在每次启动的时候轮询datanode获取这些信息,并且通过周期性的心跳获取最新的信息。

这种设计简化了在有datanode服务器加入集群、离开集群、更名、失效、以及重启的时候,namenode服务器和datanode服务器数据同步的问题。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 首先,我们在使用前先看看HDFS是什麽?这将有助于我们是以后的运维使用和故障排除思路的获得。 HDFS采用mast...
    W_Bousquet阅读 4,304评论 0 2
  • HDFS的设计目标 通过上一篇文章的介绍我们已经了解到HDFS到底是怎样的东西,以及它是怎样通过多副本机制来提供高...
    陌上疏影凉阅读 1,486评论 0 3
  • (一)分布式文件系统概述 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中...
    时待吾阅读 1,655评论 0 0
  • (一)分布式文件系统概述 数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中...
    时待吾阅读 5,524评论 0 1
  • 幸福沉睡在湖畔的芦苇里 我蹑手蹑脚走向它 想拔一根它的金羽毛 无奈 它立刻化成一只野雁 头也不回地 飞走了
    OK稻米阅读 196评论 0 1