大数据学习十二:HDFS读流程和写流程

HDFS读写流程相对于HDFS Client而言,所以读流程为FSDataInputStream , 写流程为FSOutPutStream

1、HDFS读流程

(1)、打开分布式文件流

(2)、向NameNode请求数据文件

(3)、NameNode返回要读取文件的全部或部分元数据信息

(4、5)、HDFS开始从最近的DataNode读取block,若读取的块损坏,则读取备份中的其他block,若所有备份都无法读取,则文件      损坏。

(6)、文件读取文笔,关闭分布式文件流


2、HDFS写流程


(1、2)、HDFS Client 向NameNode申请创建文件,文件创建后,不会被分配block。

(4)、HDFS Client 向DataNode写入数据,DataNode根据复制策略向其他DataNode复制数据

(5)、文件写完毕后,最后一个block依次向前传递ACK确认信息,直到NameNode

(6)、关闭DFS文件流。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。