背景：为了进行大数据平台的选型及各配置优化，开展了针对平台选优的测试，因此积累了一些对于大数据平台的认识，今天进行梳理和复习。

      怎么理解HDFS呢？英文：Hadoop Distributed File System，大数据分布式文件系统。还比较难理解？那就暂时理解成NFS，在集群中的一台机器上的文件，其他的节点均可以访问到。

一、hdfs的优点

1、高容错性

      运行在大量普通廉价机器上，数据自动保存多个副本。它通过增加副本的形式，提高容错性。

      某一个副本丢失以后，它可以自动恢复，默认是三副本，可以在配置文件中进行修改，在我被测的系统中，副本的保存存在一个机架感知特性，会将副本存到不同的三个机架，提高容灾能力。

2、适合批处理

      它是通过移动计算而不是移动数据。它会把数据位置暴露给计算框架。

   【 HDFS中有一个概念叫做本地读（短路读），意思是如果计算所需的数据在本地也有一份，会优先读取本地的数据。再加上之前的存储是三副本形式，将计算移动的同时，具有本地读的特性会更加加快处理效率。】 

3、适合大数据处理

      处理数据达到 GB、TB、甚至PB级别的数据。能够处理百万规模以上的文件数量，数量相当之大。

【HDFS不适合存储小文件（这里的小文件是指小于HDFS系统的Block大小的文件，默认64M，可在hdfs-site.xml中进行修改，这种参数的修改就是所谓的调优。），因为namenode中存储着数据实际存储在datanode中的位置信息，如果小文件过多，它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。另外小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标。】

4、数据一致性

     一次写入，多次读取。文件一旦写入不能修改，只能追加。它能保证数据的一致性。

【hdfs提供了上传文件的接口，hdfs dfs -put localpath  hdfspath，然而却没有提供修改文件的api，这也就保证了数据的一致性】

二、hdfs的原理（摘取自博客）

     HDFS架构包含三个部分：（NameNode，DateNode，Client）

     NameDode：用于存储、生成文件系统的元数据、运行一个实例。

    DataNode：用于存储实际的数据，将自己管理的数据块上报给NameNode。

    Client：支持业务访问HDFS，从NameNode，DateNode获取数据返回给业务。

     在一个集群中有两个namenode互为主备，有多个datanode，以上两个进程可以部署在相同的机器上。

1、HDFS数据写入流程

（1）业务应用调用HDFS Client提供的API创建文件，请求写入。

（2）HDFS Client联系NameNode，NameNode在元数据中创建文件节点。

（3）业务应用调用write API写入文件。

（4）HDFS Client收到业务数据后，从NameNode获取到数据块编号、位置信息后，联系DateNode，并将要写入数据的DateNode建立起流水线。完成后，客户端再通过自有协议写入数据到DateNode1，再由DateNode1复制到NateNode2，DateNode3.

（5）写完的数据，将返回确认信息给HDFS Client。

（6）所有数据确认完成后，业务调用HDFS CLient关闭文件。

（7）业务调用close，flush后HDFS Client联系NameNode，确认数据写完成，NameNode持久化元数据。

2、HDFS数据读取流程

 （1）业务调用HDFS Client提供的API打开文件。

   (2)HDFS Client 联系 NmaeNode，获取到文件信息（数据块、DateNode位置信息）。

   (3)业务应用调用read API读取文件。

    (4)HDFS Client根据从NmaeNode获取到的信息，联系DateNode，获取相应的数据块。（Client采用就近原则读取数据，本地读）。

    (5)HDFS Client会与多个DateNode通讯获取数据块。

    (6)数据读取完成后，业务调用close关闭连接。

三、hdfs不适用的场合

上面介绍了HDFS的优势，当然 HDFS 也有它的劣势，并不适合所有的场合：

1、低延时数据访问

比如毫秒级的来存储数据，这是不行的，它做不到。

     它适合高吞吐率的场景，就是在某一时间内写入大量的数据。但是它在低延时的情况下是不行的，比如毫秒级以内读取数据，这样它是很难做到的。

2、小文件存储

     原因不在赘述。