Hbase 使用场景及案例

Hbase特点

1. 高速写入:高速写入,对读取需求比较小。

2.大数据:分布式存储,海量数据搞得定。不用担心无限增长的数据。

3. 可靠:写入的不是内存,是硬盘,高性能

4. 查询简单:不需要复杂查询条件来查询数据的应用,HBase只支持基于rowkey的查询,对于HBase来说,单条记录或者小范围的查询是可以接受的。

Hbase使用场景1:对象存储

我们知道不少的头条类、新闻类的的新闻、网页、图片存储在HBase之中,一些病毒公司的病毒库也是存储在HBase之中。

Hbase使用场景2:时序数据

HBase之上有OpenTSDB模块,可以满足时序类场景的需求。

Hbase使用场景3:用户画像

特别是用户的画像,是一个比较大的稀疏矩阵,蚂蚁的风控就是构建在HBase之上。

Hbase使用场景4:时空数据

主要是轨迹、气象网格之类,滴滴打车的轨迹数据主要存在HBase之中,另外在技术所有大一点的数据量的车联网企业,数据都是存在HBase之中。

Hbase使用场景5:CubeDB OLAP

Kylin一个cube分析工具,底层的数据就是存储在HBase之中,不少客户自己基于离线计算构建cube存储在hbase之中,满足在线报表查询的需求。

Hbase使用场景5:消息/订单

在电信领域、银行领域,不少的订单查询底层的存储,另外不少通信、消息同步的应用构建在HBase之上。聊天系统的日志存储。Facebook的在线聊天,每天数据量近百亿。哨兵监控系统,云信历史数据,日志归档数据等一系列重要应用底层都由HBase提供服务。

Hbase使用场景6:Feed

典型的应用就是xx朋友圈类似的应用。

使用案例

Mozilla: Moving Socorro to HBase

Moving Socorro to HBase

Facebook: Facebook’s New Real-Time Messaging System: HBase

http://highscalability.com/blog/2010/11/16/facebooks-new-real-time-messaging-system-hbase-to-store-135.html

Facebook和淘宝的总结:

摘自facebook的相关文档

1 storing large amounts of data(100s of TBs)

存储大量的数据(100s TB级数据)

2 need high write throughput

需要很高的写吞吐量

3 need efficient random access (key lookups) within large data sets

在大规模数据集中进行很好性能的随机访问(按列)

4 need to scale gracefully with data

需要进行优雅的数据扩展

5 for structured and semi-strured data

结构化和半结构化的数据

6 don‘t need full RDFS capabilites(cross row/cross table transactions,joins etc.)

不需要全部的 关系数据库特性,例如交叉列、交叉表,事务,连接等等

来自淘宝的使用场景总结:

1 瞬间写入量很大,数据库不好支撑或需要很高成本支撑的场景。

2 数据需要长久保存,且量会持久增长到比较大的场景

3 HBase不适用与有join,多级索引,表关系复杂的数据模型

4 合理设计rowkey,非常重要

5 数据较好是可恢复的

6 生产环境关闭split,region数不要太多。

整理总结:

1大数据量 (100s TB级数据) 且有快速随机访问的需求。

例如淘宝的交易历史记录。数据量巨大无容置疑,面向普通用户的请求必然要即时响应。

2 容量的优雅扩展

大数据的驱使,动态扩展系统容量的必须的。例如:webPage DB。

3 业务场景简单,不需要关系数据库中很多特性(例如交叉列、交叉表,事务,连接等等)

4 优化方面:合理设计rowkey。因为hbase的查询用rowkey是较高效的,也几乎的生产环境可行的方式。所以把你的查询请求转换为查询rowkey的请求吧。

from:https://java-er.com/blog/hbase-where-use/

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,384评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,845评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,148评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,640评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,731评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,712评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,703评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,473评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,915评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,227评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,384评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,063评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,706评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,302评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,531评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,321评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,248评论 2 352

推荐阅读更多精彩内容

  • [TOC] 一、RowKey 的作用 HBase 由于其存储和读写的高性能,在 OLAP 即时分析中越来越发挥重要...
    w1992wishes阅读 2,241评论 1 1
  • Hadoop 是一个能够对大量数据进行分布式处理的软件框架。分布式集群框架通常是Hadoop+Hbase+Zook...
    Mango_yes阅读 3,657评论 0 9
  • 昨天有人告诉我不适合做生意,因为命格太正。听完我就沉思了,世人都知道无商不奸的道理。我被人一语道破,这感觉不是很喜...
    嘉音_974e阅读 216评论 4 3
  • 如果有来生, 要做一棵树, 站成永恒, 没有悲欢的姿势。 一半在土里安详, 一半在风里飞扬, 一半洒落阴凉, 一半...
    MssH_67ab阅读 285评论 0 1