(一)存储海量数据的HDFS
1.NameNode和DataNode
NameNode:
(a)负责接受客户端的请求
(b)负责元信息的维护
(c)HDFS的管理员
DataNode:
(a)保存数据
(b)block数据块:hadoop 1.x的block是64M;hadoop 2.x是128M。
2.上传和下载过程
上传:
下载:
3.SecondaryNameNode:负责元信息的合并
(a)FSImage文件:元信息在硬盘上的景象
(b)Edits文件:HDFS日志文件,有元信息的最新操作日志。
(c)合并过程:合并FSImage文件+Edits文件,形成最新的FSImage文件
海量数据的计算模型MapReduce(Yarn)
HBase
体系结构
表结构
体系结构的region=列族