HBase入门学习


HBase的数据模型

HBase基于HDFS进行底层数据存储,HBase是谷歌内部工具BigTable的一个开源实现,BigTable基于DFS。
HBase是一个稀疏多维的排序的映射表,以下表中涉及的概念:

  • 行键 :RowKey 唯一标识符
  • 列族
  • 列限定符
  • 单元格
  • 时间戳

表中存储的每一个值都是未经解释的字符串,一行有一个行键和任意多个列。
表支持动态扩展,列族可以动态增加删除,每个列族可以包含多个列族,不同与关系型数据库的静态特性。列族是HBase存储的基本单元,HBase是列式存储,不同的列族会被存储到不同的文件中去。
传统关系型数据库用行列坐标可以确定一个数据,但是在HBase中是用4维坐标,行键,列族,列限定符,时间戳。
表不存在删除记录的说法,HBase会保留旧版本也就是旧记录。
HBase不用像关系型数据库进行范式化去除冗余,HBase存储空间足够大,不用刻意为了节省空间而必须花费时间去做多表连接的操作,这样会降低数据分析的效率。

列式存储面向分析型应用,在诸如性别分析年龄分析场景下,针对某一列的数据还不需要去扫描其他字段列的数据,分析效率高。并且,由于一列数据的数据类型相同,可以带来很高的数据压缩率。
而传统的关系型的行式存储,面向事务型应用有优势。但是不适用于分析型,效率会比较低。

Hbase 的三大核心组件

  • 库函数:客户端通过库函数去获得存储的数据
  • Master
  • Region服务器:一个表被分为多个region,这些region就是由Region服务器进行维护管理。客户端存取数据也是直接和Region接触,不会去Master上存取。(**客户端不依赖于Master来获取数据位置信息)

Region的寻址过程
HBase维持了一个元数据表,该表只有两列,一列是Region 的Id,第二列是Region服务器的Id。存放元数据的表叫.META.表。
当Region条目多到一定程度,无法存在.META.表时,会建一个-ROOT-表用来存放存储.META.表的region 的位置信息。而-ROOT-不会再分裂。-ROOT-的地址是写死在ZooKeeper文件中的。

一共是三级寻址结构,第一层是Zookeeper文件,第二级是-ROOT--ROOT-表只有一个region来存放它。第三级.META..META.有多个region来存放它。

在一个Region服务器中,可以存放10-1000个region,这些region公用一个HLog文件。在一个region中包含多个Strore,每个Store代表HBase中的一个列族。这些数据不是直接写到底层HDFS中,而是先存入对应Store中的缓存区MemStore中去,缓冲区满了才刷写入Store中StoreFile中。每一个StoreFile都是通过HDFS的HFile去存储的。

用户读写过程

写:先写MemStore缓存,同时日志HLog,HLOG是预写式日志,为了保证数据安全和方便恢复。只有当日志中数据刷入磁盘才能返回响应给用户。
读:先去读缓存中数据,因为缓存中数据是最新的。缓存找不到才去磁盘文件StoreFile中去找。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,558评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,002评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,024评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,144评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,255评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,295评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,068评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,478评论 1 305
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,789评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,965评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,649评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,267评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,982评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,800评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,847评论 2 351

推荐阅读更多精彩内容

  • 参考:https://www.jianshu.com/p/569106a3008f 最近在逐步跟进Hbase的相关...
    博弈史密斯阅读 849评论 1 1
  • 一、简介 Hbase:全名Hadoop DataBase,是一种开源的,可伸缩的,严格一致性(并非最终一致性)的分...
    菜鸟小玄阅读 2,375评论 0 12
  • 一、HBase简介 Hbase是什么 HBase是一种构建在HDFS之上的分布式、面向列、多版本、非关系型的数据库...
    便利蜂数据平台阅读 974评论 0 4
  • 简介 HBase —— Hadoop Database的简称,Google BigTable的另一种开源实现方式,...
    编码前线阅读 276评论 0 0
  • 简介 HBase —— Hadoop Database的简称,Google BigTable的另一种开源实现方式,...
    尼小摩阅读 529评论 0 3