HDFS读流程

HDFS一个分布式文件系统,是Hadoop核心的一部分。
HDFS采用主从结构模型,一个HDFS集群是由一个NameNode和若干个DataNode组成的。其中NameNode作为主服务器,管理文件系统的命名空间和客户端对文件的访问操作;集群中的DataNode管理存储的数据。

HDFS整体类似一个linux文件系统,将一个大文件切分成n个datablack(默认128m),datablock存储在DataBlock中,文件的元数据存储(类似linux inode table 包含权限、实际存储的datablock、datablock数量和所在DataNode信息等等)在NameNode中。

读流程

hdfs文件读取过程
  1. client想namenode发起访问文件 虚拟路径/foo/bar
  2. namenode返回存储/foo/bar实际文件的所有datablock信息
  3. 在datablock所在的datenode找出datablock合并成文件返回给client
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。