Hadoop开发学习-hdfs

hdfs的下载机制

hdfs中:
1.主节点(namdnode)负责存储元数据，即为目标数据的路径

  1. 从节点(datanode)负责存储真实数据，通过checkpoint机制在经过一定时间之后，向主节点更新只身路径

步骤1，通过主节namenode中的元数据，找到要下载文件块block所在的服务器。


下载.png

步骤2，挑选一台datanode（就近原则，然后随机）服务器，请求建立socket流--->用于传递具体的信息


下载2.png

步骤3，datanode开始发送数据，在服务器端的本地磁盘中读出数据，以packet的形式进行校验


下载3.png

步骤4，客户端本地进行接受，以packet为基本单位，先存储在本地缓存中，在存入本地文件


下载4.png
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容