hadoop-初识二(HDFS读写理解)

hadoop最基本的功能设计就是对外提供数据的读写。框架如下(client就是读写操作的代表,一般指的是API方式获取):

1、从HDFS读取数据

2、写数据到HDFS

文件的写入过程非常复杂,我根据理解画的流程图并不完整,其中缺的最主要的一块就是在管道传输的时候遇到错误的处理流程。根据我查的资料了解,网上说的错误处理过程大致分两类,一类是关闭管道重新申请DataNode,然后再建立管道重新传输,当然数据从ackQueue返回到DataQueue是必然的。另一类则是关闭管道后移除错误节点,然后剩下的节点组成管道继续传输。错误节点的错误会被标记,等待DataNode自行处理。然后NameNode会在文件传输完成后根据副本数量自动分配DataNode复制数据达到副本数量为止。我个人任务第二种更偏向于真实情况,因为源码的注释里说移除错误节点,建立不包含错误节点的新的管道,并没有说立即申请新的DataNode组成管道。基本过程就是如下图所示(参考hadoop源码说明):

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 首先,我们在使用前先看看HDFS是什麽?这将有助于我们是以后的运维使用和故障排除思路的获得。 HDFS采用mast...
    W_Bousquet阅读 4,435评论 0 2
  • swift基础语法(一)swift基础语法二主要讲数据类型 1.字符串 1.在swift中String是一个结构体...
    e40c669177be阅读 269评论 3 1
  • 事情已经过去了半个月,想来还是有些后怕。 今年刚毕业,那天去乘车回单位上班,在车站过安检时看到安检旁边...
    luo敏儿阅读 541评论 0 1
  • 闪电眀,惊雷现,思不眠,夜沉淀。 无欲是最大的欲望,掌控欲望,掌控时间,掌握命运。 敏而好学,每日三省。 站在对方...
    了行阅读 163评论 0 0
  • 豪美时光 作者(玲珑29) 时光匆匆而过,记忆中有一段时光叫好美时光,在那一段时光里有一个人依旧活在记忆里,尽管时...
    玲珑29阅读 219评论 0 0

友情链接更多精彩内容