HDFS基本概念

首先我们要认识HDFS的体系结构,看下图:


HDFS结构示意图

基本知识点:

- HDFS是以块为基本的存储单位,块的大小为64MB,块是整个文件存储处理的逻辑单位

- 每个数据块都有三份,两个放在机架1,第三个放在机架二,防止硬件设备的故障导致数据块的损失

- HDFS包含两类节点,分别为NameNode和DataNode

- NameNode是管理节点,存放元数据,元数据包含两个部分,分别是文件与数据块的映射表(可通过映射表找到具体的数据块)

- DataNode是数据节点,存放数据块

- Secondary NameNode是备份管理节点,当NameNode出现问题后,备份管理节点将会代替原先NameNode的位置工作

HDFS工作流程:

查询流程:

客户端通过命令行或者程序输入查询语句,访问到管理节点,管理节点返回元数据给客户端,客户端再通过其中的映射表读取到数据块

插入流程:

客户端发出插入请求,NameNode找到空的可用的数据块将数据插入,然后数据块以流水线的形式将其复制两份放入指定的的位置

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 原文 介绍 Hadoop分布式文件系统( HDFS )是一种分布式文件系统,设计用于在商品硬件上运行。它与现有...
    公子小水阅读 1,175评论 0 0
  • 翻译: http://hadoop.apache.org/docs/stable/hadoop-project-d...
    金刚_30bf阅读 829评论 0 2
  • 【什么是大数据、大数据技术】 大数据,又称巨量资料,指的是所涉及的数据资料量规模巨大到无法在合理时间内通过传统的应...
    kimibob阅读 2,792评论 0 51
  • 一、概念 二、两个概念的对比分析 三、计算 四、判断指标 >150%才好 五、同行实例分析 六、总结
    舒小呈阅读 218评论 0 0
  • 因为工作原因,报了壁花小姐的减脂营,没有办法参加了,现在想转让。或者有身高体重跟我差不多的,可以合用一份计划。预算...
    回不去的远方_阅读 846评论 1 0