HDFS文件读取步骤是怎么样的?我们通过下图中的步骤顺序一步步梳理,然后再看这样设计的好处。
步骤(Java客户端)
1. open
客户端调用FileSystem
对象的open()
方法来打开希望读取的文件,对于HDFS来说,FileSystem
对象是DistributedFileSystem
的一个实例。
2. get block locations
DistributedFileSystem
通过使用远程过程调用(RPC)来调用namenode
,以确定文件起始块的位置。对于每个块,namenode
返回存有该块副本的datanode
地址。datanode
根据距离客户端的距离来排序,会选择在最近的datanode
中读取数据。
3. read,read from FSDataInputStream
DistributedFileSystem
类返回一个FSDataInputStream
对象给客户端用来读取数据,该对象支持文件定位,该对象对datanode
和namenode
的I/O进行了封装。客户端对这个输入流代用read()
方法。
4. read,read from first datanode
存储着文件起始块的datanode
地址的DFSInputStream
(3 中的FSDataInputStream
封装了DFSInputStream
)连接距离最近的文件中的第一个块所在的datanode
,通过read()
方法,将数据从datanode
传输到客户端。
5. read,read from next datanode
读取到块的末端时,DFSInputStream
关闭与datanode
的连接,然后寻找下一个块的最佳(距离最近)的datanode
。对于客户端来说,客户端只是在读取一个连续的流。
6. close
客户端读取完成后,调用FSDataInputStream
对象的close()
方法关闭流。
设计优势
1. 容错
在 4 和 5 步骤中,如果DFSInputStream
与datanode
的通信失败,会尝试从这个块的另一个最邻近的datanode
读取数据。也会记住这故障的datanode
,并校验从datanode
读取到的数据是否完整。如有损坏的块也会尝试从其他datanode
读取这个块的副本,并将损坏的块的情况告诉namenode
。
2. 提高客户端并发
客户端可以直接连接到datanode
检索数据,并且namenode
告知客户端每个块所在的距离客户端最近的datanode
。这样数据流就分散在了集群中的所有的datanode
上,使HDFS可以接受大量客户端的并发读取请求。
3. 减轻namenode的处理压力
这样设计namenode
只需要响应获取块位置的请求,这些信息由datanode
汇报并存在内存中,非常高效,数据响应交给datanode
,自身不需要响应数据请求。如果不这样做,namenode
将成为瓶颈。