HBase存储原理详解

HBaseHadoop一个分布式,可扩展的大数据存储的数据库。特点是可以对大数据进行随机,实时的读/写访问。

其实HBase的来源可以追溯到一篇论文"Bigtable: A Distributed Storage System for Structured Data"有兴趣同学可以去看看这篇文章

HBaseNoSQL,整个HBase可以简单看作一个‘Bigtable’。说到分布式存储,就可以说它是将大表拆分来存储。如下图1一张表,拆分为6部分来存储。但是HBase可不是随意拆分的,是按照列簇行键(row key)来切分表的。

图1

先介绍一些概念,然后我们再回头来细说上图1。

(1)Name Space

命名空间,类似关系型数据库的database的概念。命名空间下可以有很多张表,HBase有两个自带的命名空间,分别为hbasedefault,hbase存放的是HBase内置的表,default表示用户默认使用的命名空间。

   hbase(main):001:0 > list_namespace
(2)Region

类似关系型数据库的表的概念,不同点是,HBase定义表的时候只需要声明列簇就好,不需要声明具体的。所以往HBase写入数据,字段可以按需,动态指定。

 #create '表名', '列簇1', '列簇2'...
 hbase(main):001:1 > create 'person','personal_info', 'office_info'
 # 插入数据 put '表名','rowkey','列簇名:列名','值'
 hbase(main):001:2 > put 'person','0001','personal_info:name', '张三'
(3)Row

HBase表的每一行由RowKey和多个数据组成,数据按照RowKey的字典顺序存储的,并且查询数据时只能根据RowKey检索,RowKey的设计很重要。

(4)Column

HBase表的每一列都由列簇列限定符进行限定,例如:personal_info:name,office_info:tel。建表的时候只需声明列簇就好,而列限定符无需预先定义。

(5)Time Stamp

时间戳,用于标识数据的不同版本,每一条数据写入时,若不指明具体时间戳,系统会自动为其加上这个字段,其值为写入HBase时当前系统的时间。

(6)Cell

{rowkey,column Family : column Qualifier,time Stamp}({行建,列簇:列限定符,时间戳})唯一确定的单元。cell中数据没有类型,全以字节码形式存储。


回头看图1,从图中可以看得出

  • 列簇:personal_info,office_info
  • RowKey:row_key1,row_key11,row_key2....,row_key7,每个row_key所在行就是一条行(row)数据。
  • Region:虽然这个表分6块存储,但是region是包含完整的行数据的。如图中row_key3,row_key4,row_key5的数据。
  • Store:表示实际存储在集群的数据,列簇和列限定符是元数据信息,一般存储在内存。

HBase的逻辑存储就是图1所示的存储方式,接下来看看HBase的物理存储,即针对某一条数据怎么存储的。

图2

就拿personal_info这个列簇来说,row_key1的数据在HBase是如上图中下方表格所示,其中每个行就是一个cell。因为是row_key1的数据,所以他们的RowKey都是row_key1column Family是列簇,都是属于personal_info这个列簇;column Qualifier是列限定符,分别是列簇中的列名;Time Stamp是时间戳,就是对其操作的时间;type是代表操作的方式:put(包括添加,修改)delete(删除)value是操作后的值。上图可以看到有两条对列"phone"的操作,但value不一样,这时候就根据TimeStamp的先后来判定它的值,它的值为最近时间操作的那个值。

(文中插图1和图2为某个视频的截图,个人认为这两个图很有代表性就拿过来用了,若存在侵权,请告知作者,谢谢!)
作者最近在学习大数据相关的技术知识,所以就分享一些自己的学习笔记,希望和大家一起讨论,一起进步!!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,922评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,591评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,546评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,467评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,553评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,580评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,588评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,334评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,780评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,925评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,573评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352