Hive知识整理(2)

内容参考:
慕课网--HIve进阶

一、hive的数据导入

(1) load命令

Load语法:

Load data [local] inpath ‘filepath’[overwrite]
Into table tablename [partition (partcol1=val1,partcol2=val2…)]

(2) Sqoop组件

Sqoop是apache下的开源框架,专门用来做数据的导入导出(批量数据)
注意:Insert在hive中不支持

二、Hive的数据查询

1. 简单查询

Select * from table
--这样的语句不会进行MR,直接返回结果

Fetch Task功能(从Hive10.0版本开始支持):支持简单查询
配置方式:

  1. Set hive.fetch.task.conversion=more

  2. Hive –hiveconf hive.fetch.task.conversion=more

  3. 修改hive-site.xml文件

注意: NULL空值需要用is 关键字
函数NVL():当值为空时可以转换为特定数值

2. 过滤和查询

在hive HQL中严格区分大小写
Order by 后面可以跟:列,表达式,别名,序号

三、Hive的函数

分为内置函数,自定义函数
内置函数有以下几种:

内嵌函数

数学函数:

  • Round()函数:四舍五入

Select round(45.111,2), round(45.111,1), round(45.111,0), round(45.111,-1), round(45.111,-2)

  • Ceil()函数:向上取整
  • Floor()函数:向下取整

字符函数:
Lower(),Upper(),Length(),concat():拼接字符串,substr():取字符串子串,trim():去掉字符串前后的空格,lpad():左填充,rpad():右填充

例子:substr(a,b):从a中,第b位开始取,取右边所有的字符
substr(a,b,c):从a中,第b位开始取,取c个字符
lpad(”abc”,10,‘-’): 对abc这个字符长度填充到10位,用*填充

收集函数:size():收集map集合的长度

格式:

size(map(<key,value>,<key,value>))
如size(map(1,’TOM’,2,‘MARRY’)),返回的值为2

转换函数:cast(),转换数据类型

cast(1 as float):转换数字类型,返回结果为1.0
Cast(‘2015-04-10’ as date),返回日期格式

日期函数:
To_date(),year(),month(),day(),weekofday(),datediff(),date_add(),date_sub()等等

to_date(‘2015-04-23 11:23:11’)返回结果为:2015-04-23

条件函数:
Coalesce():从左到右找到第一个不为null的值
Case…when…:条件表达式

Case a when b then c [where a then e]* [else f] end

例子:

//给员工涨工资,总裁1000,经理800,其他员工400
Select ename,job,sal,
Case job when’president’ then sal+1000
When’manager’then sal+800
Else sai+400
End
From emp;

聚合函数
Count(),sum(),min(),max(),avg()

表生成函数
Explode():把map或者表结构中的一列单独生成一行
例子:

Select explode(map(1,’tom’,2,‘marry’,3,’mike’))

返回结果:

1 tom
2 marray
3 mike

四、Hive的表连接

支持以下连接:
等值连接,不等值连接,外连接,自连接
外连接:可以将对于连接条件不成立的记录依然包含在最后的结果中,包括左外连接和右外连接
自连接:核心是通过表的别名将同一张表视为多张表

Hive的子查询需要注意的问题:

  • 语法中的括号
  • 合理的书写风格
  • Hive只支持:from和where子句中的子查询
  • 主查询和子查询可以不是同一张表
  • 子查询中的空值问题
    查询结果如果包含null,则不能使用not in关键字

例子:select * from emp e where e.empno not in (select e1.mgr from emp e1 where e1.mgr is not null);

五、Hive的JDBC客户端操作

启动Hive远程服务

hive --service hiveserver

两种方式可以操作hive中的数据
(1) JDBC
步骤:


JDBC方式操作hive数据步骤

(2)Thrift Client

Thrift Client方式操作Hive数据

六、Hive自定义函数的使用

自定义函数部署运行步骤:

Hive自定义函数

使用自定义函数:

Select <函数名> from table

销毁临时函数:

Hive> drop temporary function <函数名>;

总结:

1、Hive是一个数据仓库,用来支持OLAP的应用,构建在Hadoop集群之上,数据存储在HDFS中,在Hive中的操作会转换成MapReduce的作业。
2、Hive支持类似SQL的HQL语言
3、Hive采用元数据对表进行管理
三种存放方式如下:

元数据存放方式

4、Hive提供非常强大的编程接口
三种:


编程接口
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,992评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,212评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,535评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,197评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,310评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,383评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,409评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,191评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,621评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,910评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,084评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,763评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,403评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,083评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,318评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,946评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,967评论 2 351

推荐阅读更多精彩内容