1. Hadoop 数据管理
Hadoop 的数据管理，主要包括 Hadoop 的分布式文件系统 HDFS、分布式数据库 HBase 和数据仓库工具 Hive。
（1）HDFS 的数据管理
HDFS 通过三个重要的角色来进行文件系统的管理：NameNode、 DataNode 和 Clien
NameNode 可以看做是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。 NameNode 会将文件系统的 Metadata 存储在内存中，这些信 息主要包括文件信息、每一个文件对应的文件块的信息和每一个文件块在 DataNode 中的信息等
DataNode 是文件存储的基本单元，它将 文件（Block）存储在本地文件系统中，保存了所有 Block 的Metadata，同时周期性地将所有存在的 Block 信息发送给 NameNode。
Client 就是需要获取分布式文件系统文件的应用程序。
文件写入
1）Client 向 NameNode 发起文件写入的请求。
2）NameNode 根据文件大小和文件块配置情况，返回给 Client 所管理的 DataNode 的信息
3）Client 将文件划分为多个 Block，根据 DataNode 的地址信息，按顺序将其写入到每一个 DataNode 块中。
写流程
文件读取
1）Client 向 NameNode 发起文件读取的请求。
2）NameNode 返回文件存储的 DataNode 信息。
3）Client 读取文件信息。
读流程
文件块（Block）复制
1）NameNode 发现部分文件的 Block 不符合最小复制数这一要求或部分 DataNode 失效。
2）通知 DataNode 相互复制 Block。
3）DataNode 开始直接相互复制。
