hive之存储格式

今天给大家分享一个主题：Storage Format, 也就是存储格式

我们先在 hive 里建张表，打开 hive 的控制台，创建一个表
create table t(id int, name string);
你后面可以加 row format,我们通过 desc formatted,来看一下

往下看，这个地方有一个 Input、output
这个用来处理我们输入数据的
这个用来处理输出的

在这个地方，他所制定的是文本类型的

DDL
其实关键点就是这个地方，

你写与不写，默认的都是 TextFile
学一个框架，会用只是最基本的

Storage Format 存储格式
DDL指定语句：STORED AS file_format
file_format:
: SEQUENCEFILE
| TEXTFILE -- (Default, depending on hive.default.fileformat configuration)
| RCFILE -- (Note: Available in Hive 0.6.0 and later)
| ORC -- (Note: Available in Hive 0.11.0 and later)
| PARQUET -- (Note: Available in Hive 0.13.0 and later)
| AVRO -- (Note: Available in Hive 0.14.0 and later)
| JSONFILE -- (Note: Available in Hive 4.0.0 and later)
| INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

通过STORED AS 关键字来设置Hive数据文件的存储格式

行式存储 vs 列式存储
一条记录有1000列/字段构成
select a,b,c from t where d = ?
需要读取非常多的不是必要的字段数据 ==> 性能不太高的

列式存储：不同的字段存储在不同的block块上，只select 几个字段的时候性能是高的

场景：select * from t 
行式存储可以，列式存储具有性能的开销，但select * 工作中使用不是太多
列式存储用的是比较多的
    好处：字段单独存在各自的block上面，需要哪些列你就去哪些列里面去拿，相同列的数据类型是一样的，可以提升压缩，进而可以提升整体的一个性能

textfile
Hive default format
默认数据是不压缩，当然你也可以使用你需要的压缩格式对数据进行压缩

纯文本 18.1M
纯文本 + bzip2 3.6M
sequencefile：19.6M

sequencefile
个人不太建议使用的！
原因：
把数据以<k,v>的形式序列化到文件中，类似于二进制格式

相对于text来说，多了很多信息，例如 header

注意：
    stored as sequencefile的hive表，不能以 load data 的方式加载数据，
    要使用 insert into/overwrite table 的方式才可以

sequencefile：19.6M

create table page_views_seq(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
) row format delimited fields terminated by '\t'
stored as sequencefile;

insert into table page_views_seq select * from page_views;

[hadoop@spark000 ~]$ hadoop fs -du -s -h hdfs://spark000:8020/user/hive/warehouse/ruozedata_hive.db/page_views_seq
20.6 M 20.6 M hdfs://spark000:8020/user/hive/warehouse/ruozedata_hive.db/page_views_seq

=================>
RCFILE：0.6.0版本以后才有
facebook开源的面向列存储的一个项目
Hive added the RCFile format in version 0.6.0

Row Group的概念，大小是比较小的，只有4M
行列混合的一种存储模式
性能提升两个角度
    存储
    计算性能

create table page_views_rcfile(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
) row format delimited fields terminated by '\t'
stored as rcfile;

load data local inpath '/home/hadoop/data/page_views.dat' overwrite into table page_views_rcfile;

hive (ruozedata_hive)> load data local inpath '/home/hadoop/data/page_views.dat' overwrite into table page_views_rcfile;

Loading data to table ruozedata_hive.page_views_rcfile
Failed with exception Wrong file format. Please check the file's format.
Remote Exception: null

也只能使用 insert into/overwrite table 的方式

insert into table page_views_rcfile select * from page_views;

create table page_views_rcfile
row format delimited fields terminated by '\t'
stored as rcfile
as select * from page_views;

若老测试的是 17.9M
我测试的是 3.2M，这是使用 bzip2 压缩后的

ORC：0.11.0版本以后有的
优化后的列式存储，也是Apache的顶级项目

支持ACID事务
内置索引
复杂类型

使用ORC可以提升性能

stripe：250M
    Index Data
    Row Data
    Stripe Footer

ORC的参数
    orc.compress：可以使用压缩，默认 ZLIB，high level compression (one of NONE, ZLIB, SNAPPY)

create table page_views_orc(
track_time string,
url string,
session_id string,
referer string,
ip string,
end_user_id string,
city_id string
) row format delimited fields terminated by '\t'
stored as orc tblproperties ("orc.compress"="NONE");

create table page_views_orc
row format delimited fields terminated by '\t'
stored as orc tblproperties ("orc.compress"="NONE")
as select * from page_views;

不压缩采用ORC存储的数据大小：7.7M

create table page_views_orc_zlib
row format delimited fields terminated by '\t'
stored as orc tblproperties ("orc.compress"="ZLIB")
as select * from page_views;

压缩采用ORC存储的数据大小：2.8M

[hadoop@spark000 ~] hadoop fs -du -s -h hdfs://spark000:8020/user/hive/warehouse/ruozedata_hive.db/page_views_orc_zlib
2.8 M 2.8 M hdfs://spark000:8020/user/hive/warehouse/ruozedata_hive.db/page_views_orc_zlib

回去把文档好好看一下
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC

PARQUET
twitter 和 cloudera 公司合并开源的

create table page_views_parquet
row format delimited fields terminated by '\t'
stored as parquet
as select * from page_views;

不压缩采用parquet存储的数据大小：13.1M

set parquet.compression=gzip;

create table page_views_parquet_gzip
row format delimited fields terminated by '\t'
stored as parquet
as select * from page_views;

gzip压缩采用parquet存储的数据大小：3.9M

存储角度(未使用压缩)
textfile：18.1M
sequencefile：19.6M
rcfile：17.9M
orc：7.7M
parquet：13.1M

计算性能
时间
读取的数据量

[hadoop@spark000 ~]$ hadoop fs -du hdfs://spark000:8020/user/hive/warehouse/ruozedata_hive.db/page_views
19014993 19014993 hdfs://spark000:8020/user/hive/warehouse/ruozedata_hive.db/page_views/page_views.dat
select count(1) from page_views where session_id = 'B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1';
Cumulative CPU: 3.76 sec HDFS Read: 19024039

20501449
select count(1) from page_views_seq where session_id = 'B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1';
Cumulative CPU: 4.06 sec HDFS Read: 20510558

18799578
select count(1) from page_views_rcfile where session_id = 'B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1';
Cumulative CPU: 3.23 sec HDFS Read: 3726748

8101548
select count(1) from page_views_orc where session_id = 'B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1';
Cumulative CPU: 3.39 sec HDFS Read: 1811458

13720967
select count(1) from page_views_parquet where session_id = 'B58W48U4WKZCJ5D1T3Z9ZY88RU7QA7B1';
Cumulative CPU: 3.39 sec HDFS Read: 2688389

好好的看看这篇文章
https://blog.cloudera.com/orcfile-in-hdp-2-better-compression-better-performance/

higher compression ==> 存储
better query performance ==> 计算性能

hive.optimize.ppd=true

RCFile
facebook

内置索引
索引，对于我们查询
基于某一个字段查询，如果那个字段加了索引