Hadoop2x的体系架构

(一)存储海量数据的HDFS


HDFS的体系架构

     1.NameNode和DataNode

            NameNode:

             (a)负责接受客户端的请求

             (b)负责元信息的维护

             (c)HDFS的管理员

            DataNode:

              (a)保存数据

               (b)block数据块:hadoop 1.x的block是64M;hadoop 2.x是128M。

        2.上传和下载过程

               上传:

HDFS上传过程示例

                       下载:

HDFS下载过程示例

                   3.SecondaryNameNode:负责元信息的合并

                           (a)FSImage文件:元信息在硬盘上的景象

                           (b)Edits文件:HDFS日志文件,有元信息的最新操作日志。

                           (c)合并过程:合并FSImage文件+Edits文件,形成最新的FSImage文件

合并过程示例


海量数据的计算模型MapReduce(Yarn)


Yarn运行过程示例


HBase

   体系结构

HBase的体系结构

表结构

    体系结构的region=列族

表结构
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 随着数据量越来越大, 在 一个操作系统管辖的范围存不下了, 那么就 分配到更多的操作系统管理的磁盘中, 但是不方便...
    tracy_668阅读 2,841评论 0 6
  • 1.背景 HDFS最初是参考谷歌GFS论文原理开发的一个开源产品,由Lucene开源项目的创始人Doug Cutt...
    架构禅话阅读 1,689评论 0 2
  • HDFS是Hadoop Distribute File System 的简称,也就是Hadoop的一个分布式文件系...
    大佛爱读书阅读 960评论 0 0
  • test 你好 *11 # 一 ## 二
    哦我不怕阅读 181评论 0 1
  • 古人云:人生最美好的时光是“洞房花烛夜,金榜题名时,久旱逢甘露,他乡遇故知。”对现在的我们而言,最好的时光...
    猫猫咪呀meow阅读 724评论 0 3

友情链接更多精彩内容