protobuf协议兼容处理

目标:

了解protobuf是如何做协议兼容的。

问题:

在protobuf中,是怎么做到新旧协议传输的兼容的,比如:(问题一)在新的协议里面增加了一个字段,传输到另一方是如何解码的?(问题二)又比如在新的协议里面删除了一个字段,传输到另外一方是解码的?(以下为了方便说明,使用新协议的一方为服务端,旧协议一方为客户端)


问题一:在新的协议里增加了一个字段,使用旧协议的客户端是如何解码的?

测试方式:首先在服务端编写一个proto文件,拷贝一份proto文件到客户端。然后修改服务端的proto文件增加一个字段,重新生成代码,客户端还是使用原来的proto文件和代码。

步骤一:编写proto文件

带着这个问题,我们编写一个例子:
定义我们的proto文件PersonMsg.proto

syntax ="proto3";

package com.simple;

option java_package="com.simple";
option java_outer_classname="PersonMsg";

message Person{
    string name=1;
    int32 age=2;
}

步骤二:拷贝proto文件到客户端。

这时候客户端和服务端都有一份proto文件

步骤三:调用protoc命令生成java代码

因为我的服务端和客户端都是使用java语言,所以都生成为java代码。(这里代码就不在贴出)

步骤四:在服务端的proto文件中增加字段

在这里我们增加一个email的字段

syntax ="proto3";

package com.simple;

option java_package="com.simple";
option java_outer_classname="PersonMsg";

message Person{
    string name=1;
    int32 age=2;
    string email=3;//增加的字段
}

然后我们还是调用protoc命令重新生成服务端的协议代码。

步骤五:编写测试代码,创建使用新协议的Person对象,并将对象序列化到文件中。

@Test
    public void testSerilize() throws IOException {
        Person.Builder builder = Person.newBuilder();
        
        builder.setName("xiaoshan");
        builder.setAge(20);
        builder.setEmail("xxxxxxs@163.com");
        
        Person person =builder.build();
        
        byte[] byteArray = person.toByteArray();

        FileOutputStream outstream = new FileOutputStream(new File("Person.txt"));
        
        outstream.write(byteArray);
        outstream.close();
    }

步骤六:在客户端读取Person.txt文件,并反序列化成Person对象。

    @Test
    public void testDeserialize() throws Exception{
        FileInputStream inputStream = new FileInputStream(new File("Person.txt"));
        
        Person person = Person.parseFrom(inputStream);
        inputStream.close();
        assertEquals(person.getName(),"xiaoshan");
        assertEquals(person.getAge(),20);
        //旧proto文件里面没有新加的email字段,所以生成的java代码里面也没有
        
    }

运行junit,测试是ok的。
接下来的问题是,protobuf是如何做到的?
我们猜想,知道类型和长度我们就可以知道如何跳过这些字段了。
下面我们介绍protobuf的做法:

private Person(
        com.google.protobuf.CodedInputStream input,
        com.google.protobuf.ExtensionRegistryLite extensionRegistry)
        throws com.google.protobuf.InvalidProtocolBufferException {
      this();
     ...........    
      try {
        boolean done = false;
        while (!done) {
          int tag = input.readTag();
          switch (tag) {
            case 0:
              done = true;
              break;
            default: {
              if (!parseUnknownFieldProto3(
                  input, unknownFields, extensionRegistry, tag)) {//这里是处理未知字段的
                done = true;
              }
              break;
            }
            case 10: {
              java.lang.String s = input.readStringRequireUtf8();//序列化name字段

              name_ = s;
              break;
            }
            case 16: {

              age_ = input.readInt32();//序列化age字段
              break;
            }
          }
        }
........

这里关键的是parseUnknownFieldProto3方法,传递了stream和一个unknownField的builder。

  protected boolean parseUnknownFieldProto3(
      CodedInputStream input,
      UnknownFieldSet.Builder unknownFields,
      ExtensionRegistryLite extensionRegistry,
      int tag)
      throws IOException {
    if (input.shouldDiscardUnknownFieldsProto3()) {//这个地方是跳过这个字段,而不把值存放到unknownFieldSet中
      return input.skipField(tag); //根据key中的类型和长度跳过字节
    }
    return unknownFields.mergeFieldFrom(tag, input);
  }

我们继续看下input.skipField的内容

@Override
    public boolean skipField(final int tag) throws IOException {
      switch (WireFormat.getTagWireType(tag)) {
        case WireFormat.WIRETYPE_VARINT:
          skipRawVarint();
          return true;
        case WireFormat.WIRETYPE_FIXED64:
          skipRawBytes(FIXED64_SIZE);
          return true;
        case WireFormat.WIRETYPE_LENGTH_DELIMITED:  //我们的例子是增加string类型的email,所以走这个判断
          skipRawBytes(readRawVarint32());
          return true;
        case WireFormat.WIRETYPE_START_GROUP:
          skipMessage();
          checkLastTagWas(
              WireFormat.makeTag(WireFormat.getTagFieldNumber(tag), WireFormat.WIRETYPE_END_GROUP));
          return true;
        case WireFormat.WIRETYPE_END_GROUP:
          return false;
        case WireFormat.WIRETYPE_FIXED32:
          skipRawBytes(FIXED32_SIZE);
          return true;
        default:
          throw InvalidProtocolBufferException.invalidWireType();
      }
    }

如我们所料,根据key中的类型做相应的处理。如我们例子中新增加的email是string类型,所以走的是 WireFormat.WIRETYPE_LENGTH_DELIMITED判断,string类型的序列化格式是:key+length+value,
所以要调用readRawVarint32读取string的长度,后面再调用 skipRawBytes跳过即可。

注意:

在proto2中,序列化到未知的字段都会同意的存放到unknowField中,但是proto3不会保证这一点,如上例中未知的字段被放弃了,查看源码可知在proto3中CodedInputStream中增加了explictDiscardUnknownFields字段控制是放弃还是存放到unknowField中。所以在proto3中不要太依靠unknownField做操作。

剩下的问题二就留给读者自己思考吧!(答案是删除的字段不会被序列化,所以那边也读不到,具体查看PersonMsg中的gerSerializedSize方法)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,580评论 18 139
  • 参考:http://www.jianshu.com/p/8c6c009bc500 http://blog.csdn...
    F麦子阅读 2,657评论 2 1
  • 本篇文章篇幅比较长,先来个思维导图预览一下。 一、概述 1.计算机网络体系结构分层 2.TCP/IP 通信传输流 ...
    涤生_Woo阅读 54,921评论 24 557
  • 前奏 https://tech.meituan.com/2016/11/04/nio.html 综述 netty通...
    jiangmo阅读 5,840评论 0 13
  • 一个人的思想升级到一个社会,一个民族,一个国家,只要认定这个奋斗目标,这一生都很难改变。然而我很困惑自己的无能、堕...
    灯下墨笔阅读 269评论 0 0