hdfs文件压缩

1 gzip压缩

优点：压缩率比较高，而且压缩/解压速度也比较快；hadoop本身支持，在应用中处理gzip格式的文件就和直接处理文本一样；有hadoop native库；大部分linux系统都自带gzip命令，使用方便。

缺点：不支持split。

应用场景：当每个文件压缩之后在130M以内的（1个块大小内），都可以考虑用gzip压缩格式。譬如说一天或者一个小时的日志压缩成一个gzip 文件，运行mapreduce程序的时候通过多个gzip文件达到并发。hive程序，streaming程序，和java写的mapreduce程序完 全和文本处理一样，压缩之后原来的程序不需要做任何修改。

2 lzo压缩

优点：压缩/解压速度也比较快，合理的压缩率；支持split，是hadoop中最流行的压缩格式；支持hadoop native库；可以在linux系统下安装lzop命令，使用方便。

缺点：压缩率比gzip要低一些；hadoop本身不支持，需要安装；在应用中对lzo格式的文件需要做一些特殊处理（为了支持split需要建索引，还需要指定inputformat为lzo格式）。

应用场景：一个很大的文本文件，压缩之后还大于200M以上的可以考虑，而且单个文件越大，lzo优点越越明显。

3 snappy压缩

优点：高速压缩速度和合理的压缩率；支持hadoop native库。

缺点：不支持split；压缩率比gzip要低；hadoop本身不支持，需要安装；linux系统下没有对应的命令。

应用场景：当mapreduce作业的map输出的数据比较大的时候，作为map到reduce的中间数据的压缩格式；或者作为一个mapreduce作业的输出和另外一个mapreduce作业的输入。

4 bzip2压缩

优点：支持split；具有很高的压缩率，比gzip压缩率都高；hadoop本身支持，但不支持native；在linux系统下自带bzip2命令，使用方便。

缺点：压缩/解压速度慢；不支持native。

应用场景：适合对速度要求不高，但需要较高的压缩率的时候，可以作为mapreduce作业的输出格式；或者输出之后的数据比较大，处理之后的数据 需要压缩存档减少磁盘空间并且以后数据用得比较少的情况；或者对单个很大的文本文件想压缩减少存储空间，同时又需要支持split，而且兼容之前的应用程 序（即应用程序不需要修改）的情况。

最后用一个表格比较上述4种压缩格式的特征（优缺点）：

4种压缩格式的特征的比较

压缩格式splitnative压缩率速度是否hadoop自带linux命令换成压缩格式后，原来的应用程序是否要修改

gzip否是很高比较快是，直接使用有和文本处理一样，不需要修改

lzo是是比较高很快否，需要安装有需要建索引，还需要指定输入格式

snappy否是比较高很快否，需要安装没有和文本处理一样，不需要修改

bzip2是否最高慢是，直接使用有和文本处理一样，不需要修改

TEXTFILE

--创建一个表，格式为文本文件： 

CREATE EXTERNAL TABLE student_text (id STRING, name STRING) 

ROW FORMAT DELIMITED  

FIELDS TERMINATEDBY ','  

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--导入数据到此表中,将启动MR任务 

INSERT OVERWRITE TABLE student_text SELECT * FROM student; 

可查看到生成的数据文件的格式为非压缩的文本文件：

hdfs dfs -cat /user/hive/warehouse/student_text/000000_0 


1001810081,cheyo 

1001810082,pku 

1001810083,rocky 

1001810084,stephen 

2002820081,sql 

2002820082,hello 

2002820083,hijj 

3001810081,hhhhhhh 

3001810082,abbbbbb 

文本文件,DEFLATE压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_text_def (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;  

--导入数据： 

INSERT OVERWRITE TABLE student_text_def SELECT * FROM student; 

--查看数据 

SELECT * FROM student_text_def; 

查看数据文件,可看到数据文件为多个.deflate文件。

hdfs dfs -ls /user/hive/warehouse/student_text_def/ 

-rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000000_0.deflate 

-rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000001_0.deflate 

-rw-r--r--   2015-09-16 12:48 /user/hive/warehouse/student_text_def/000002_0.deflate 

文本文件,Gzip压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_text_gzip (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 

--导入数据： 

INSERT OVERWRITE TABLE student_text_gzip SELECT * FROM student; 

--查看数据 

SELECT * FROM student_text_gzip; 

查看数据文件,可看到数据文件为多个.gz文件。解开.gz文件，可以看到明文文本：

hdfs dfs -ls /user/hive/warehouse/student_text_gzip/ 

-rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000000_0.gz 

-rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000001_0.gz 

-rw-r--r--  2015-09-15 10:03 /user/hive/warehouse/student_text_gzip/000002_0.gz 

文本文件,Bzip2压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_text_bzip2 (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置压缩类型为Bzip2压缩： 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.BZip2Codec; 

--导入数据 

INSERT OVERWRITE TABLE student_text_bzip2 SELECT * FROM student; 

--查看数据： 

SELECT * FROM student_text_bzip2; 

查看数据文件,可看到数据文件为多个.bz2文件。解开.bz2文件，可以看到明文文本：

hdfs dfs -ls /user/hive/warehouse/student_text_bzip2 

-rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000000_0.bz2 

-rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000001_0.bz2 

-rw-r--r--  2015-09-15 10:09 /user/hive/warehouse/student_text_bzip2/000002_0.bz2 

文本文件,lzo压缩

--创建表 

CREATE TABLE student_text_lzo (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置为LZO压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=com.hadoop.compression.lzo.LzopCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_text_lzo SELECT * FROM student; 

--查询数据 

SELECT * FROM student_text_lzo; 

查看数据文件,可看到数据文件为多个.lzo压缩。解开.lzo文件，可以看到明文文本。

未实测,需要安装lzop库

文本文件,lz4压缩

--创建表 

CREATE TABLE student_text_lz4 (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置为LZ4压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.Lz4Codec; 

--导入数据 

INSERT OVERWRITE TABLE student_text_lz4 SELECT * FROM student; 

查看数据文件,可看到数据文件为多个.lz4压缩。使用cat查看.lz4文件，可以看到是压缩后的文本。

hdfs dfs -ls /user/hive/warehouse/student_text_lz4 

-rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000000_0.lz4 

-rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000001_0.lz4 

-rw-r--r-- 2015-09-16 12:06 /user/hive/warehouse/student_text_lz4/000002_0.lz4 

文本文件,Snappy压缩

--创建表 

CREATE TABLE student_text_snappy (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS TEXTFILE; 

--设置压缩 

SET hive.exec.compress.output=true; 

SET mapred.compress.map.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 

SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_text_snappy SELECT * FROM student; 

--查询数据 

SELECT * FROM student_text_snappy; 

查看数据文件,可看到数据文件为多个.snappy压缩文件。使用cat查看.snappy文件，可以看到是压缩后的文本:

hdfs dfs -ls /user/hive/warehouse/student_text_snappy 

Found 3 items 

-rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000000_0.snappy 

-rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000001_0.snappy 

-rw-r--r--   2015-09-15 16:42 /user/hive/warehouse/student_text_snappy/000002_0.snappy 

SEQUENCEFILE

Sequence文件,DEFLATE压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_seq_def (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS SEQUENCEFILE; 

--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.DefaultCodec;  

--导入数据： 

INSERT OVERWRITE TABLE student_seq_def SELECT * FROM student; 

--查看数据 

SELECT * FROM student_seq_def; 

查看数据文件,是一个密文的文件.

hdfs dfs -ls /user/hive/warehouse/student_seq_def/ 

-rw-r--r--  /user/hive/warehouse/student_seq_def/000000_0 

Sequence文件,Gzip压缩

--创建一个表，格式为文件文件： 

CREATE TABLE student_seq_gzip (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS SEQUENCEFILE; 

--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 

--导入数据： 

INSERT OVERWRITE TABLE student_seq_gzip SELECT * FROM student; 

--查看数据 

SELECT * FROM student_seq_gzip; 

查看数据文件,是一个密文的文件，无法通过gzip解压：

hdfs dfs -ls /user/hive/warehouse/student_seq_gzip/ 

-rw-r--r--  /user/hive/warehouse/student_seq_gzip/000000_0 

RCFILE

RCFILE,Gzip压缩

CREATE TABLE student_rcfile_gzip (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS RCFILE; 


--设置压缩类型为Gzip压缩 

SET hive.exec.compress.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec; 

--导入数据： 

INSERT OVERWRITE TABLE student_rcfile_gzip SELECT id,name FROM student; 

--查看数据 

SELECT * FROM student_rcfile_gzip; 

ORCFile

ORCFile有自己的参数设置压缩格式，一般不使用上述Hive参数设置压缩参数。

ORCFile,ZLIB压缩

--创建表 

CREATE TABLE student_orcfile_zlib (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS ORCFILE TBLPROPERTIES ("orc.compress"="ZLIB"); 


--导入数据 

INSERT OVERWRITE TABLE student_orcfile_zlib SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_orcfile_zlib; 

ORCFILE,Snappy压缩

--创建表 

CREATE TABLE student_orcfile_snappy2 (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS ORCFILE TBLPROPERTIES ("orc.compress"="SNAPPY"); 


--导入数据 

INSERT OVERWRITE TABLE student_orcfile_snappy2 SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_orcfile_snappy2; 

一般不使用下述方式。下述方式压缩后，结果与上述同类型压缩(SNAPPY)不同。具体原因待进一步研究。

--创建表 

CREATE TABLE student_orcfile_snappy (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS ORCFILE; 

--设置压缩 

SET hive.exec.compress.output=true; 

SET mapred.compress.map.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 

SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_orcfile_snappy SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_orcfile_snappy; 

Parquet

Parquet,Snappy压缩

--创建表 

CREATE TABLE student_parquet_snappy (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS PARQUET; 

--设置压缩 

SET hive.exec.compress.output=true; 

SET mapred.compress.map.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 

SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_parquet_snappy SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_parquet_snappy; 

Avro

Avro,Snappy压缩

--创建表 

CREATE TABLE student_avro_snappy (id STRING, name STRING) 

ROW FORMAT DELIMITED 

FIELDS TERMINATEDBY ',' 

LINES TERMINATEDBY '\n' 

STOREDAS AVRO; 

--设置压缩 

SET hive.exec.compress.output=true; 

SET mapred.compress.map.output=true; 

SET mapred.output.compress=true; 

SET mapred.output.compression=org.apache.hadoop.io.compress.SnappyCodec; 

SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec; 

SET io.compression.codecs=org.apache.hadoop.io.compress.SnappyCodec; 

--导入数据 

INSERT OVERWRITE TABLE student_avro_snappy SELECT id,name FROM student; 

--查询数据 

SELECT * FROM student_avro_snappy; 

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 204,590评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 86,808评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,151评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,779评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,773评论 5赞 367
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,656评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,022评论 3赞 398
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,678评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 41,038评论 1赞 299
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,659评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,756评论 1赞 330
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,411评论 4赞 321
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,005评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,973评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,053评论 2赞 350
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,495评论 2赞 343

推荐阅读更多精彩内容