Hive的数据类型

image.png

image.png

image.png

image.png

image.png

• array_type 数组类型
• map_type map键值对类型
• struct_type 类似于C语言的结构体和java中的类

创建表

内部表

create table psn(
    id int,
    name String,
    likes array<String>,
    address map<string,string>
)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '-'
MAP KEYS TERMINATED BY ':' 
LINES TERMINATED BY '\n'

加载数据到表中

LOAD DATA LOCAL INPATH '/root/user/data.txt' INTO TABLE table_name;

外部表

create EXTERNAL table psn(
    id int,
    name String,
    likes array<String>,
    address map<string,string>
)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '-'
MAP KEYS TERMINATED BY ':' 
LINES TERMINATED BY '\n'
localtion '/usr/';

Hive分区 partition

分区字段不能在表的列中

create EXTERNAL table psn(
    id int,
    name String,
    likes array<String>,
    address map<string,string>
)
partition by (age int)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ','
COLLECTION ITEMS TERMINATED BY '-'
MAP KEYS TERMINATED BY ':' 
LINES TERMINATED BY '\n'
localtion '/usr/';

Hive JDBC

Hive JDBC运行方式 ，服务端需要启动hiveserver2后，在java代码中通过调用hive的jdbc访问默认端口10000进行连接、访问

Hive 函数

1.自定义函数

自定义函数包括三种 UDF,UDAF,UDTF

• UDF（User-Defined-Function）一进一出
• UDAF（User-Defined Aggregation Function）聚合函数，多进一出。Count/max/min
• UDTF（User-Defined Table-Generating Function）一进多出，如lateral view explore()

使用方式：在hive回话中add自定义函数的jar文件，然后创建function继而使用函数

2.关系运算符

• a = b
• a > b
• a IS NULL
• a IS NOT NULL
• a LIKE b // 模糊匹配
• a RLIKE b
• a REGEXP b
• ...

3.算数运算符

• a + b
• a - b
• a / b
• a % b
• a & b // 按位 “与”
• a | b // 按位 “或”
• a ^ b // 按位 “异或”
• ~a // 对一个表达式执行按位 “非”（取反）

4.逻辑运算符

• a AND b
• a && b
• a OR b
• a | b
• NOT b
• ！A

5.复杂类型函数

• map —— （key1,value1,key2,value2）—— 通过指定的键值对，创建一个map
• struct —— （val1, val2, val3, ...） —— 通过指定的字段值，创建一个结构。结构字段名称将COL1, COL2, ...
• array —— （val1, val2, ...） —— 通过指定的元素，创建一个数组

对复杂类型函数操作

• A[n] —— A是一个数组，n为int型 —— 返回数组A的第n个元素，第一个元素的索引为0
• M[key] —— M是Map<K,V> —— 返回key对应的值
• S.x —— S是struct —— 返回结构x字符串在结构S中的存储位置

6.内置函数

7.收集函数

8.类型转换函数

9.日期函数

10.条件函数

11.字符函数

12.内部聚合函数

内置表生成函数（UDTF）(*****)

自定义函数实践

UDF开发

1. UDF函数可以直接应用于select语句，对查询结构做格式化处理后，再输出内容。
   2.编写UDF函数的时候需要注意以下几点：
   a）自定义UDF需要继承 org.apache.hadoop.hive.ql.UDF
   b）需要实现evaluate函数，evaluate函数支持重载
   3.步骤
   a） 把程序打包放到目标机器上去
   b) 进入hive客户端，添加jar包： hive > add jar /run/jar/udf_test.jar;
   c）创建临时函数： hive > CREATE TEMPORARY FUNCTION fun_name AS 'com.xx.xx.TuoMin' ;
   d) 使用自定义的函数： 如： select fun_name(username) from table_name;

实战 - 脱敏

import org.apache.hadoop.hive.ql.exec.UDF;
public class TuoMin extends UDF {
  public Text evaluate(final Text s ) {
    if(s == null) {
        return null;
    }
    String str = s.toString().substring(0,3) + "***"; // 例子
    return new Text(str);
  }
}

Hive总结

• hive是数据仓库，主要用来对历史数据做分析
• hive的产生是为了帮助非java程序员做MR分析
• hive是以hdfs为基础的，所有数据存储在hdfs上，hdfs所有操作都是hdfs和MR操作
• hive的搭建。（1）本地模式 （2）单用户模式 ：将mysql与hive分割在不同的服务器上，通过远程访问 （3）多用户