技术背景

最早起源于Nutch,Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的解决方案。
- 分布式文件系统（GFS），可用于处理海量网页的存储
- 分布式计算框架MAPREDUCE，可用于处理海量网页的索引计算问题。
- BigTable 数据库：
  OLTP 联机事务处理 Online Transaction Processing 增删改
  OLAP 联机分析处理 Online Analysis Processing 查询
  真正的作用：提供了一种可以在超大数据集中进行实时CRUD操作的功能
Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为Apache顶级项目，迎来了它的快速发展期

设计目的

用来解决[海量大文件的存储和索引问题]

通过主从分布式架构系统将多台机器的物理存储整合成为一个整体的逻辑存储

适合一次存入多次读取
一次存入多次读取：hdfs是分布式系统，具有良好的磁盘读写操作，即高吞吐性；
不适合修改：hdfs的备份机制，和存储大文件特性，若将大文件读到内存中修改，很影响集群的服务性能，而且客户端每修改一次，hdfs集群还需要修改对应的副本，更耗时间和资源
适合存储大文件
因为hdfs为了维护文件的索引，会在NN名称节点上保存所有文件的元数据信息，为避免给NN名称节点造成过大压力，所以hdfs集群应避免存储大量小文件。而适合存储相对的小量大文件
高吞吐
一个10t的硬盘和10个1t的硬盘，虽然能存储的数据容量是一致的，但是速度肯定是10个1t的硬盘读写速度更快，相当于开了10个线程并行操作
高容错
failover；备份机制，namenode通过元数据管理每个节点上的数据存储信息，如果某个节点的某块数据失效了，则namnode会在别点节点上找到该块数据进行重新备份，
高容量
设计目的是为了解决海量大文件的存储问题，通过分布式系统将集群中的每台机器的硬盘整合起来组成高容量
高扩展
分布式系统本身就提供了纵向扩展的能力，只需要增加集群的节点数，就可以增加系统的容量

概念：hdfs集群构建HA时才需要使用到的备份节点
功能：
1. 负责接收子节点的注册
2. 负责去读取journalnode的元数据变化并维护自己内存中的元数据
3. 将元数据的变化合并到fsimage，产生新的fsimage且同步给active

概念：同步进程,当hdfs不是高可用时才会用到
功能：
1. 消耗过大，一般单独部署，负责通过http协议拉取nn上的edits文件并合并到新的fsimage文件中，清空旧的 fsimage文件，并将新的fsimage复制发送给nn，fsimage的文件名是序列号过的，最新的号越大
2. 在hdfs的ha结构中，没有secondarynamenode的进程，该进程功能被standby代替了