Hive入门学习

前言

  • 好久没有整理笔记了,都不记得上次更新简书是什么时候了,是时候整理下最近接触的技能了;
  • 这篇文章是为了以后个人方便复习和查阅;
  • 人不知不觉就会变得懒散,只能这样逼迫自己再学习点东西;
  • 工作中在前辈的指导下摸索着一知半解的使用着,自己还是太菜啊,不懂的东西太多

1.Hive是什么?

其实,我也不知道hive到底是什么,查找资料,总结就下面几点:

Apache Hive数据仓库软件提供对存储在分布式中的大型数据集的查询和管理,它本身是建立在Apache Hadoop之上,主要提供以下功能: 
(1)它提供了一系列的工具,可用来对数据进行提取/转化/加载(ETL); 
(2)是一种可以存储、查询和分析存储在HDFS(或者HBase)中的大规模数据的机制; 
(3)查询是通过MapReduce来完成的(并不是所有的查询都需要MapReduce来完成,比如select * from XXX就不需要; 
(4)在Hive0.11对类似select a,b from XXX的查询通过配置也可以不通过MapReduce来完成

总结下就是

hive是基于hadoop的数据仓库。

Hive安装指导
HIVE完全分布式集群安装过程(元数据库: MySQL)
有一点需要说明下,Hive默认元数据库不是Mysql存在局限,所以最好使用mysql

允许我盗个图

Hadoop家族

2.Hive基本操作

Hive sql 语法和sql语法非常相似,我们先看看Hql的基本语法吧
下面是网上大牛整理的资料
Hadoop Hive sql语法详解1-认识hive及DDL操作
Hadoop Hive sql语法详解2-修改表结构
Hadoop Hive sql语法详解3--DML 操作:元数据存储
Hadoop Hive sql语法详解4--DQL 操作:数据查询SQL
Hadoop Hive sql语法详解5--HiveQL与SQL区别
复杂操作
Hive快捷查询:不启用Mapreduce job启用Fetch task三种方式介绍
Hive如何执行文件中的sql语句
Hive四种数据导入方式介绍
Hive中的三种不同的数据导出方式介绍
Hive如何创建索引

3.高级进阶(2017/08/13 更新)

(1) hive与hadoop的关系


hive与hadoop的关系图解

(2) hive与传统数据库作对比

方面 Hive RDBMS
查询语言 HQL SQL
数据存储 HDFS Raw Device or Local FS
数据格式 用户定义 系统决定
数据更新 不支持 支持
执行 MapReduce Excutor
执行延迟
可扩展性
处理数据规模
索引 0.8版本后加入位图索引 有复杂索引

(3) 需要全面了解Hive还是需要大牛的总结--全面了解Hive


方便查阅

hive 配置参数说明(收藏版)
支持sql大全(收藏版)
hive 创建/删除/截断 表


hive如何结合hadoop,hbase发挥作用,该如何发挥它的实际意义?
我们来看看下面的问题:
hive为什么与hbase整合
Hive与HBase整合完整指导
hadoop、hbase、hive版本对应关系

上面是与hbase结合使用,那么我们该如何与编程语言向结合,可以参考下面内容:
通过JDBC驱动连接Hive操作实例
Hive:用Java代码通过JDBC连接Hiveserver介绍


4.Hive实战分析(更新于2017-08-20)

从 MapReduce 到 Hive 实战分析
Hive实战开发

你可能会遇到的问题:
hive找不到创建的表了

Hive on Spark解析
hive面试题目:表大概有2T左右,对表数据转换

在使用Hive的过程中,难免会遇到各种错误,这个时候,学会定位错误就显得至关重要了:
hive如何通过设置日志定位错误

大牛分享:hive在腾讯分布式数据库实践分享


最近输出太多,是时候读点书了!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容