大数据生态圈之HDFS的基本原理

HDFS集群分为两大角色:NameNode、DataNode (Secondary Namenode)
其中,NameNode负责管理整个文件系统的元数据,DataNode 负责管理用户的文件数据块,本文就分别介绍这2个角色的工作原理。

文件会按照固定的大小(blocksize)切成若干块后分布式存储在若干台datanode上,每一个文件块可以有多个副本,并存放在不同的datanode上.Datanode会定期向Namenode汇报自身所保存的文件block信息(心跳机制),而namenode则会负责保持文件的副本数量。
HDFS的内部工作机制对客户端保持透明,客户端请求访问HDFS都是通过向namenode申请来进行,也就是说客户端不能直接对datanode进行操作。

HDFS写数据流程

hdfs传文件.png
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 一、目标 HDFS 全称hadoop分布式文件系统,其最主要的作用是作为 Hadoop 生态中各系统的存储服务。 ...
    Alukar阅读 7,351评论 1 18
  • 原文 介绍 Hadoop分布式文件系统( HDFS )是一种分布式文件系统,设计用于在商品硬件上运行。它与现有...
    公子小水阅读 4,882评论 0 0
  • 关于Mongodb的全面总结 MongoDB的内部构造《MongoDB The Definitive Guide》...
    中v中阅读 32,221评论 2 89
  • 没错,就是我 96年的北方姑娘,我姓于,生在北方不喜冷,喜一切温暖事物,安于现状也向往远方,似乎我是一个纠结体的存...
    于三岁啊阅读 1,864评论 0 1
  • 教了两个月七年级英语课了,崩溃到要死。120分的题有十几个30分以下的!!!这叫纯不会。以为自己讲的很清...
    赵妖镜Karen阅读 1,432评论 0 0

友情链接更多精彩内容