三分钟入门大数据之Hive与HBase之间的区别与联系是什么?

哈喽,大家好,我是汉斯老师。近几年来,互联网行业由于较高的薪资收入,受到许多人的追捧。很多年轻的学子,或是其他行业的有志青年,都想要投身到这个行业中来。然而一方面受到“互联网寒冬”的影响,最近频频传出各家知名互联网公司裁员缩编的消息;另一方面,大量的人才涌入,又使得互联网产业在职场上呈现出供过于求的特征,并最终导致了职场上的激烈竞争。那么互联网行业未来的潜力在哪里?我们又应该在哪个方向上发力,才能保证自己可以获得一份高薪而稳定的工作?基于多年的互联网行业从业经验,汉斯老师在这里向大家推荐大数据方向,希望通过本人的《三分钟入门大数据》和《十分钟精通大数据》等系列文章,帮助所有有志了解学习大数据的朋友掌握大数据的相关知识,也欢迎所有对互联网行业以及大数据领域感兴趣的朋友前来交流。



很多萌新在刚接触Hadoop体系下的各个组件时,往往会对Hive和HBase的区别和联系存在疑惑,那么Hive和HBase到底是做什么的?他们之间的区别和联系又是什么呢?

两者的定义和作用

A. Hive是Hadoop体系中,基于HDFS分布式文件系统下的一个数据仓库的查询工具。我们知道,Hadoop在计算其文件系统中的存储的数据时,是使用MapReduce来进行计算的。然而MapReduce的开发较为繁琐。试想一下,假如我们想要从Hadoop中找到一些特定的数据,那么我们每次都要开发一个MapReduce项目并运行起来才能得到结果,这中间所消耗的时间,即使是一个开发MapRduce程序的熟手来做,也是以小时计的,这是令人完全无法接受的!

这个时候,就有人想了,普通的关系型数据库查询语句SQL非常简单,应用的也比较广泛。那么我们有没有办法可以像查询关系型数据库那样查询Hadoop中的数据呢?当然,Hive就是实现这个功能的。Hive中有Hive SQL,这种查询语句几乎与SQL语句完全相同。当我们写出一个Hive SQL并运行起来时,Hadoop中实际上是将Hive SQL转化为对应功能的MapRduce并执行。

B. HBase是Hadoop中一个NoSQL数据库。要注意在HBase中,有两个特点。首先,数据都是列式存储的,每一列都会属于其对应的列族,这与常见的关系型数据库按行存储的方式不同。此外,HBase是一个key-value性质的数据库。这就意味着,HBase允许灵活的存储具有不同格式,不同属性定义的数据。

两者的区别与联系

Hive和HBase的区别在于作用定位不同。Hive只是查询工具,本身并不存储数据,这里要注意,尽管Hive并不存储数据,但Hive SQL是有create table和insert语句的。然而Hive本质上只是将插入的数据放入到HDFS文件系统中。当使用Hive进行查询的时候,Hive会在逻辑层面(内存)映射出一张表,其映射的对象就是HDFS中的数据(当然,也可以映射HBase中的表)。然而由于数据仓库本身的特性,注定了Hive不能有效支持更新数据的操作。此外,由于Hive SQL会被转化为MapReduce任务执行,而MR任务即使是做最简单的查询也会花费大量的时间,这也就注定了Hive仅能支持非实时性的查询任务。

而HBase是Hadoop中的一个数据库组件,尽管其底层也是基于HDFS文件系统,但是它是真正在物理层面存储数据的。HBase既能支持MapRduce查询,也可以单独提供快速查询的功能(当然,需要有其他组件的支持)。HBase本质上是将各种杂乱无序的数据映射成为一个大的哈希表,这也就使得HBase具备了NoSQL数据库的特性,可以允许行级数据间,存在不同的数据结构。不同于Hive,由于HBase是单独存储数据,这也意味着HBase可以支持插入,更新,删除,查询等操作。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,919评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,567评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,316评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,294评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,318评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,245评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,120评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,964评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,376评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,592评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,764评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,460评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,070评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,697评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,846评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,819评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,665评论 2 354

推荐阅读更多精彩内容