Logo：
Hadoop 技术概述：
—— Hadoop 一词通常代指其基本模块和子模块以及生态系统，或可以安装在 Hadoop 之上的软件包的集合 Apache Hadoop是一款支持数据密集型分布式应用程序，有助于使用许多计算机组成的网络来解决数据、计算密集型的问题。基于MapReduce计算模型，它为大数据的分布式存储与处理提供了一个软件框架。
—— 所有的Hadoop模块都有一个基本假设，即硬件故障是常见情况，应该由框架自动处理 Apache Hadoop的核心模块分为存储和计算模块，前者被称为Hadoop分布式文件系统（HDFS），后者即MapReduce计算模型。
—— Hadoop框架先将文件分成数据块并分布式地存储在集群的计算节点中，接着将负责计算任务的代码传送给各节点，让其能够并行地处理数据。这种方法有效利用了数据局部性，令各节点分别处理其能够访问的数据。与传统的超级计算机架构相比，这使得数据集的处理速度更快、效率更高。
Hadoop 技术起源：
—— 在20001左右 Doug Cutting和 Mike Cafarella 致力于对全网的网页进行索引，从而可以快速的通过关键字搜索，类似于Google，后研发出了 Apache Nutch 这个项目，通过网络爬虫爬取网络上的所有网页。
—— 最开始，他们在一台服务器上部署 Nutch，然后去爬取网络上所有的网页，当爬取到 1 亿个网页的时候，单台机器存储不下了，很明显，单台机器不可能存储的下整个网络上所有的网页。然后他们将服务器的数量提升到 4 台，虽然加服务器可以存储更多的网页数据，但是带来的复杂度确实非常的大，他们需要手动的处理服务器之间的数据交换、以及手动的处理磁盘空间(因为磁盘会满)，而且每次增加服务器的时候，复杂度都会呈指数级增长。
—— 直到 2003 年十月份，google 发布了 GFS 分布式存储文件系统的论文，Cutting 和 Cafarella 两个人阅读到这篇论文后，发现这篇论文解决的就是他们现在遇到的问题。随后，他俩就按照这篇论文的思路实现了一个分布式存储文件系统，就是 Nutch Distributed File System （简称 NDFS） 解决了存储的问题，同样也需要面对怎么样对分布式存储的数据进行计算的问题。
—— NDFS 分布式存储的特点，也就是数据分块存储在多台机器上，那么计算需要并行的进行计算，这样的话可以利用分布式存储的特点，从而提高计算的性能。在他们摸索的时候，同样，在
—— 2004 年 google 发布了另一篇 MapReduce 的论文，Cutting 和 Cafarella看完这个论文后，发现这个解决方案也就是他们想要的，所以，他们就按照这篇论文的思想重新实现了一个分布式计算的技术，也命名为 MapReduce。并在 2005 年，将 MapReduce 集成到 Nutch 项目中。 在
—— 2006 年的二月，Cutting 将 NDFS 和 MapReduce 从 Nutch 项目中剥离出来，单独创建一个名为 Hadoop 的项目，这个 Hadoop 项目包含了 Hadoop Common、HDFS (其实就是 NDFS，就是改了下名字而已) 和 MapReduce 三个模块。这样 Hadoop 就出世了
Hadoop 技术发展：
—— Yahoo 看到了 google 的 GFS 和 MapReduce 的技术应用，聘用 Doug Cutting 来帮助他们使用 Hadoop 来代替他们之前的数据存储和处理方案。 2007 年和 2008 年是 Hadoop 发展最快的两年，在这两年内，很多大公司，比如 Twitter、Facebook、LinkedIn 等都在使用 Hadoop，并且他们还贡献了很多的以 Hadoop 为核心的大数据处理分析工具，比如分布式协调工具 Zookeeper、Pig、Hive 、HBase 等。
—— 2009 年的亚马逊开始提供 MapReduce 计算服务。同年，Cutting 离开 Yahoo，以首席架构师的身份去了 Cloudera (也就是 Hadoop 商用的组织，CDH 就是他们研发的) 在 Hadoop 1.x 中的 MapReduce 有一个很大的问题，那就是分布式数据处理和资源管理是在一起的，这样当数据量特别大，或者当数据处理任务特别多的时候会存在性能瓶颈，为了解决这个问题，
—— 在 2012 年，Hadoop 团队将分布式数据处理的逻辑和资源管理的逻辑拆分开，形成了一个独立的分布式资源管理技术，也就是 Yarn，这代表着 Hadoop 进入 Hadoop 2.x 时代。
—— 2017 年 12 月份，Hadoop 发布了 Hadoop 3.0.0 版本，预示着 Hadoop 进入到 Hadoop 3.x 时代。相对于 Hadoop 2.x，Hadoop 3.x 做了很多性能和功能上的优化。
Hadoop 1.0时期架构图
Hadoop 2.0时期架构图
Hadoop 框架由以下基本模块构成：
- Hadoop Common ：包含了其他Hadoop 模块所需的库和实用程序；
- HDFS ：分布式存储，一种将数据存储在集群中多个节点中的分布式文件系统，能够提供很高的带宽；
- YARN ： 负责计算资源管理，并实现用户程序调度的平台；
- MapReduce ：分布式计算 用于大规模数据处理的MapReduce计算模型实现；
- Ozone ： Hadoop的对象存储。
Hadoop 相关模块
- HBase：基于HDFS之上，建立的分布式NoSQL列数据库，让Hadoop拥有海量存储，并且亿级甚至十亿级的数据量，增删改都可以达到秒级的响应速度，HBase内置了zookeeper。类似谷歌公司BigTable。
- Hive：让hadoop集群有sql关系型数据库的使用体验，主要是对文件进行检索，构建于hadoop之上的数据仓库，通过一种类SQL语言HiveQL为用户提供数据的归纳、查询和分析等功能。Hive最初由Facebook贡献。
- Mahout：机器学习算法软件包。
- Sqoop：结构化数据（如关系数据库）与Apache Hadoop之间的数据转换工具。
- ZooKeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。
- Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。
- Spark：也是分布式计算框架类似于MapReduce 区别是Spark更多使用内存，而且是尽量使用内存
