Protobuf 原理及优点

Protocol Buffers (Protobuf) 是一种谷歌开发的二进制通信格式,用于序列化结构数据,截至目前,谷歌使用 protobuf 已经超过十年了。
Protobuf 的出现并不是为了解决新的问题,而是用更加现代的方式让网络传输更加高效,总的来说它有如下几个特点:

  1. 是二进制格式,而不是像 JSON 与 XML 是基于文本的,因此非常节省空间。
  2. 对各种模式丰富且易上手的支持。
  3. 支持多种语言下的解析。

那么,为何 protobuf 更加高效呢?下面来深入探索下这个问题。

protobuf 的编码方式

下面是一段要通过 protobuf 序列化传输数据的 .proto 文件。

message my_int_massage{
    int 32 a = 2009;
}

我们看到消息体中仅有一个32位的整数,那么protobuf 如何为它进行编码呢,能小于 32 位吗?下面介绍 varint,可变长整数编码,即 protobuf 所采用的,那么 varint 是如何工作的呢?
我们以上面的消息体定义作为例子:

  1. 将2009 转换为二进制 11111011001
  2. 将其分割为 0001111 1011001
  3. 反转其顺序 1011001 0001111
  4. 添加 MSB 标识为 01011001 00001111
  5. 设置MSB ,11011001 00001111 (即第一位为0代表是数字结尾)
  6. 最后用16进制表示为 D9 0F
    以上就是protobuf 编码的过程,那么如何编码多个数字呢,下面介绍一下序列数,它由 field_num, write_type 决定,即(filed_number<< 3) | write_type ,其本身也是被 varint 编码,后 3 由 write_type 决定。其中 field_number 表示当前是第几位数字,write_type 表示该数字的编码方式是 varint ,varint 时 write_type 为0;

那么如何解码呢,与编码对应,先根据 MSB 位取数据,然后去掉 MSB 位,反转数据,解码即可。

那么 string 呢?

对于 utf-8 或7-bit ASCII 编码的 stirng,首先,同样有field_number 与 write_type 组成的 序列数, string 的序列数为2,此外在序列数之后还有表示 string 长度的字段,由于已经有长度信息,因此string 的编码不再需要 MSB 标识位。
例如:“syma” 编码为 0A 04 73 79 6d 61;(0A是序列数,04是长度,其他为字符串);

小结

1.在微服务之间通信时,protobuf 更合适,在公开 API 或与浏览器通信时JSON 与 xml 更合适。

  1. protobuf 更加节省空间,高效。
  2. protobuf 放弃了可读性。
  3. protobuf 使用的编码方式可以使数据更加紧凑。
    5.protobuf 依赖生成的代码,需要一个protobuf 编译器根据你编写的 .proto 定义的数据生成,也称作消息。
  4. 你可以根据生成的代码初始化或解析发生的数据或接受的数据。
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,588评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,456评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,146评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,387评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,481评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,510评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,522评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,296评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,745评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,039评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,202评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,901评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,538评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,165评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,415评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,081评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,085评论 2 352

推荐阅读更多精彩内容