3.1.1 计算机集群结构

分布式文件系统，把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。
与之前使用多个处理器和专用高级硬件的并行化处理装置不同的是,此由普通硬件构成，降低开销。

有点像路由网络

STR.png

3.1.2 分布式文件系统的结构

一类叫“主节点”(Master Node)或者也被称为“名称结点”(NameNode)
一类叫“从节点”（Slave Node）或者也被称为“数据节点”(DataNode)

STR1.png

主节点：像核心交换机，记录路由表等等重要信息
从节点：像单点的终端服务器，提供数据/流量服务

3.2 HDFS简介

优点：
●兼容廉价的硬件设备
●流数据读写
●大数据集
●简单的文件模型
●强大的跨平台兼容性

局限
●不适合低延迟数据访问
●无法高效存储大量小文件
●不支持多用户写入及任意修改文件

3.3.2 名称节点

•在HDFS中，名称节点（NameNode）负责管理分布式文件系统的命名空间
（Namespace），保存了两个核心的数据结构，即FsImage和EditLog

component-1.png

namenode.png

名称节点运行期间EditLog不断变大的问题: SecondaryNameNode第二名称节点

第二名称节点是HDFS架构中的一个组成部分，它是用来保存名称节点中对HDFS 元数据信息的备份，并减少名称节点重启的时间。SecondaryNameNode一般是单独运行在一台机器上

SecondaryNameNode.png

FsImage: 有点像配置和现场日志
EditLog：有点像CLI历史
太长的时候就搞个backup file，存另一台机做备份。
然后跑一个新的日志。

3.3.2 数据节点（DataNode）

•数据节点是分布式文件系统HDFS的工作节点，负责数据的存储和读取，会根据客户端或者是名称节点的调度来进行数据的存储和检索，并且向名称节点定期发送自己所存储的块的列表

•每个数据节点中的数据会被保存在各自节点的本地Linux文件系统中

3.4.1. HDFS体系结构概述

这里比较像路由网络，名称节点像一个核心交换机，
其他数据节点就像一个单台的服务器，就是把流量变成了一个数据网络。
文件号或数据块号就像流量里面的报头一样，数据块号就像路由表，
核心交换机，决定它下一跳是哪里，这里的namenode就决定datanode的服务器在哪里。
这里提到的文件均衡，就有点像流量的负载均衡。

HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）（如图3-4所示）。名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问。集群中的数据节点一般是一个节点运行一个数据节点进程，负责处理文件系统客户端的读/写请求，在名称节点的统一调度下进行数据块的创建、删除和复制等操作。每个数据节点的数据实际上是保存在本地Linux文件系统中的

HDFS-str.png

3.4.3 通信协议

• 所有的HDFS通信协议都是构建在TCP/IP协议基础之上的

Hadoop 1.0 的局限性
HDFS只设置唯一一个名称节点，这样做虽然大大简化了系统设计，但也带来了一些明显的局限性，具体如下：
（1）命名空间的限制：名称节点是保存在内存中的，因此，名称节点能够容纳的对象（文件、块）的个数会受到内存空间大小的限制。
（2）性能的瓶颈：整个分布式文件系统的吞吐量，受限于单个名称节点的吞吐量。
（3）隔离问题：由于集群中只有一个名称节点，只有一个命名空间，因此，无法对不同应用程序进行隔离。
（4）集群的可用性：一旦这个唯一的名称节点发生故障，会导致整个集群变得不可用。

这里无论是数据的备份还是流水，跟路由器和交换机的沟通是很像的，
它都需要有响应，然后要有确认。
1. 命名空间的限制，就像路由表不能太大，不然就很难跳过去
2. 性能的瓶颈，就像通信报文的窗口期不能太大，单个名称节点的吞吐量太大，时延会很大
3. 隔离问题，就像内网的时候，如果你隔离不好的话就会串IP
4. 集训可用性，就像核心交换机不能只有一台，必须得有冗余，不然一台机当了，整个网络都当掉了。

3.5 HDFS存储原理

3.5.1 冗余数据保存

copy-1.png

1.数据存放

•第一个副本：放置在上传文件的数据节点；如果是集群外提交，则随机挑选一台磁盘不太满、CPU不太忙的节点
•第二个副本：放置在与第一个副本不同的机架的节点上
•第三个副本：与第一个副本相同机架的其他节点上
•更多副本：随机节点

how-to-place.png

3.5.3 数据错误与恢复

名称节点出错：备机上
根据备份服务器SecondaryNameNode中的FsImage和Editlog数据进行恢复。
数据节点出错： failed heartbeat--> 减坏点-->重生冗余
•HDFS和其它分布式文件系统的最大区别就是可以调整冗余数据的位置
a. failed heartbeat: 数据节点就会被标记为“宕机”，节点上面的所有数据都会被标记为“不可读”，名称节点不会再给它们发送任何I/O请求
b. 一旦发现某个数据块的副本数量小于冗余因子，就会启动数据冗余复制，为它生成新的副本
数据出错: 校验-->重传 -->修正
•客户端在读取到数据后，会采用md5和sha1对数据块进行校验，以确定读取到正确的数据
•校验出错，客户端就会请求到另外一个数据节点读取该文件块，并且向名称节点报告这个文件块有错误，名称节点会定期检查并且重新复制这个块

3.6 HDFS数据读写过程

暂时不会写java，让我迟点再来看。
粗看好像跟python的 open, read, close 很像

3.7.1 HDFS常用命令

粗看下去就是 linux指令前面加个Hadoop...

2018.6.9.

以上括起来的注释来自我的瞎类比，这样对我自己比较好学。

#学习笔记#章三-分布式文件系统HDFS-厦大MOOC