Brotli压缩算法

Brotli算法介绍

Brotli 是 Google 推出的开源压缩算法,通过变种的 LZ77 算法等方式进行数据压缩,与其他Gzip、Zip压缩算法相比,它有着更高的压缩效率,性能也比我们目前常见的 Gzip 高17-25%,Brotli算法可以帮我们压缩客户端上埋点数据上报,可以减少存储空间的成本费用;还可以对日志文件进行压缩。但Brotli 压缩只在 https 下生效,https中服务端通过Accept-Encoding告诉客户端支持哪几种压缩算法,客户端通过Content-Encoding 里面告诉服务端当前内容用了哪种压缩算法进行压缩,这样子服务端就可以知道才有哪种解压算法进行解压。因为 在 http 请求中 request header 里的 Accept-Encoding: gzip, deflate 是没有 br 的。

Brotli的优点

  1. Brotli压缩数据源和log源文件,压缩效率都比Gzip、Zip高。
  2. Brotli可以自己分配缓存字节大小、配置压缩质量等参数,配置灵活。
  3. Brotli可以对Zip文件进行二次压缩。

Brotli的不足

  1. Brotli对于加密后的log文件压缩,压缩率并不高。
  2. 自身分配的buffer的不够大时候,压缩较大的源文件时候耗时长。

Brotli算法实战

Brotli开源网站

  1. google开源在github网站上,上面支持c、go、java、python、scripts、js等绝大部分的开发语言,涵盖了H5、移动端、服务端等多端使用功能。
    brotli开源地址

不同编译(Android为例)

  1. 开源网站上已经根据不同语言进行分类,剩余根据自己编译工具区别进行底层C语言的链接、编译即可,我这里使用的是Android.mk来进行链接、编译(图一)。


    图一
  2. 抽取开源网站对应的目录下的c++文件,在module里面进行java和C++方法的映射开发。图二是native层,图三是C++。


    图二

    图三

注意:这里需要有一点的ndk开发基础才可以理解整体链接、编译。

SDK功能封装

  1. 这里我自己将业务常用的功能都封装成接口保留出去,业务侧需要关注的功能点(图四):
    <一>对原始的数据流进程压缩/解压缩(compressBytes/decoderByteArray函数),返回值为压缩后的二进制流。
    <二>对文件自身进行压缩/解压缩(compressFile/decoderTargetFile函数),结果通过callback返回对应文件所在路径。


    图四

数据压缩对比

  1. 这里我通过App做了Gzip压缩和Br压缩,存储在对应的app存储目录中,下面可以明显看出相同br算法比Gzip算法在压缩率上更优(图五),数据越大优势越大,这里我压缩率的配置还是选择中等情况(压缩率越高,压缩所需时间越长)。


    图五
  2. app的存储目录上可直观看出文件大小差异的(图六)。


    图六

知识扩展

  1. 现在我们最熟悉的三方开源库OKHttp也支持Brotli的压缩算法,在请求信息和响应数据上进行压缩,可以减少网络传输所需时间。
  2. 数据埋点的存储一直都是占用存储费用的大头,如果可以才有Brotli压缩算法,把压缩后的字节流入库,在数据分析时候再通过解压后才采集真实数据做统计,这样可以节省存储空间和存储空间所需要花费的金额。
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,639评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,093评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,079评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,329评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,343评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,047评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,645评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,565评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,095评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,201评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,338评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,014评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,701评论 3 332
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,194评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,320评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,685评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,345评论 2 358

推荐阅读更多精彩内容