Hive参数

hive当中的参数，变量，都是以命名空间开头

通过${}方式进行引用，其中system,env下的变量必须以前缀开头
hive参数设置方式

1、修改配置文件 ${HIVE_HOME}/conf/hive-site.xml
2、启动hive cli时，通过--hiveconf key=value的方式进行设置
例：hive --hiveconf hive.cli.print.header=true
3、进入cli之后，通过使用set命令设置
默认是false

hive set命令
在hive CLI控制台可以通过set对hive中的参数进行查询、设置
set设置：
set hive.cli.print.header=true;
set查看
set hive.cli.print.header
hive参数初始化配置
当前用户家目录下的.hiverc文件
如: ~/.hiverc
如果没有，可直接创建该文件，将需要设置的参数写到该文件中，hive启动运行时，会加载改文件中的配置。
hive历史操作命令集
~/.hivehistory

动态分区

1.数据.png

1,小明1,10,boy,lol-book-movie,beijing:changping-shanghai:pudong
2,小明2,10,man,lol-book-movie,beijing:changping-shanghai:pudong
3,小明3,10,man,lol-book-movie,beijing:changping-shanghai:pudong
4,小明4,20,man,lol-book-movie,beijing:changping-shanghai:pudong
5,小明5,20,boy,lol-movie,beijing:changping-shanghai:pudong
6,小明6,20,boy,lol-book-movie,beijing:changping-shanghai:pudong
7,小明7,20,boy,lol-book,beijing:changping-shanghai:pudong
8,小明8,10,boy,lol-book,beijing:changping-shanghai:pudong
9,小明9,10,boy,lol-book-movie,beijing:changping-shanghai:pudong 

hive 动态分区
开启支持动态分区
set hive.exec.dynamic.partition=true;
默认：true
set hive.exec.dynamic.partition.mode=nostrict;
默认：strict（至少有一个分区列是静态分区（必须自己先建一个多级目录，就是防止一下全删完））

2.配置.png

相关参数
set hive.exec.max.dynamic.partitions.pernode;
每一个执行mr节点上，允许创建的动态分区的最大数量(100)
set hive.exec.max.dynamic.partitions;
所有执行mr节点上，允许创建的所有动态分区的最大数量(1000)
set hive.exec.max.created.files;
所有的mr job允许创建的文件的最大数量(100000)

create table psn21(
id int,
name string,
age int,
gender string,
likes array<string>,
address map<string,string>
)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'

加载数据

load data local inpath '/root/data3' into table psn21;

创建一个带分区的表

create table psn22(
id int,
name string,
likes array<string>,
address map<string,string>
)
partitioned by(age int,gender string)
row format delimited
fields terminated by ','
collection items terminated by '-'
map keys terminated by ':'

插入数据

from psn21 
insert into psn22 partiton(age,gender)
 select id,name,likes,address,age,gender;

开始进行MapReduce

查询后会发现age在后面

[注意]动态分区只处理离线数据，不能处理实时数据

分桶

hive 分桶
分桶表是对列值取哈希值的方式，将不同数据放到不同文件中存储。
对于hive中每一个表、分区都可以进一步进行分桶。
由列的哈希值除以桶的个数来决定每条数据划分在哪个桶中。
适用场景：
数据抽样（ sampling ）
开启支持分桶
set hive.enforce.bucketing=true;
默认：false；设置为true之后，mr运行时会根据bucket的个数自动分配reduce task个数。（用户也可以通过mapred.reduce.tasks自己设置reduce任务个数，但分桶时不推荐使用）
注意：一次作业产生的桶（文件数量）和reduce task个数一致。

往分桶表中加载数据

insert into table bucket_table select columns from tbl;
insert overwrite table bucket_table select columns from tbl;

桶表 抽样查询

select * from bucket_table tablesample(bucket 1 out of 4 on columns);

TABLESAMPLE语法：
TABLESAMPLE(BUCKET x OUT OF y)
x：表示从哪个bucket开始抽取数据
y：必须为该表总bucket数的倍数或因子
例：
当表总bucket数为32时
TABLESAMPLE(BUCKET 2 OUT OF 16)，抽取哪些数据？
共抽取2（32/16）个bucket的数据，抽取第2、第18（16+2）个bucket的数据
抽取数据量=桶个数/y
x=3，y=256
从3号桶取数据，取1/8
接下来开始实际操作
首先数据

测试数据：
1,tom,11
2,cat,22
3,dog,33
4,hive,44
5,hbase,55
6,mr,66
7,alice,77
8,scala,88

建表

CREATE TABLE psn31( id INT, name STRING, age INT)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

接下来分桶

CREATE TABLE psnbucket( id INT, name STRING, age INT)
CLUSTERED BY (age) INTO 4 BUCKETS 
ROW FORMAT DELIMITED FIELDS TERMINATED BY ',';

导入数据

insert into table psnbucket select id, name, age from psn31;

这里执行没效果,原因：没有设置参数，只好删除表

开启支持分桶
set hive.enforce.bucketing=true;
默认：false；设置为true之后，mr运行时会根据bucket的个数自动分配reduce task个数。（用户也可以通过mapred.reduce.tasks自己设置reduce任务个数，但分桶时不推荐使用）
注意：一次作业产生的桶（文件数量）和reduce task个数一致。

删除表，此时表中无数据。
接下来开始设置参数

set hive.enforce.bucketing=true;

设置参数后重新加载数据

这里发现reducers有4个（一个桶一个reducer）

88%4=0
77%4=1
66%4=2
55%4=3

select * from psn_bucket tablesample(bucket 2 out of 4 on age)

y=8，有4个桶，所以（bucket 1 out of 8）是取4/8=1/2条，这里一个桶2条，取一条