欢迎光临法律咨询服合同,合同纠纷律师,服务合同纠纷,合同律师咨询,合同纠纷诉讼时效,建设工程设计合同纠纷网站

合同纠纷律师,合同纠纷解决方式

合同纠纷免费律师咨询,服务合同纠纷

联系方式 联系方式:

13920557198

protobuf协议兼容处理

作者:jcmp      发布时间:2021-05-03      浏览量:0
目标: 了解protobuf

目标:

了解protobuf是如何做协议兼容的。

问题:

在protobuf中,是怎么做到新旧协议传输的兼容的,比如:(问题一)在新的协议里面增加了一个字段,传输到另一方是如何解码的?(问题二)又比如在新的协议里面删除了一个字段,传输到另外一方是解码的?(以下为了方便说明,使用新协议的一方为服务端,旧协议一方为客户端)


问题一:在新的协议里增加了一个字段,使用旧协议的客户端是如何解码的?

测试方式:首先在服务端编写一个proto文件,拷贝一份proto文件到客户端。然后修改服务端的proto文件增加一个字段,重新生成代码,客户端还是使用原来的proto文件和代码。

步骤一:编写proto文件

带着这个问题,我们编写一个例子:
定义我们的proto文件PersonMsg.proto

syntax ="proto3";package com.simple;option java_package="com.simple";option java_outer_classname="PersonMsg";message Person{    string name=1;    int32 age=2;}

步骤二:拷贝proto文件到客户端。

这时候客户端和服务端都有一份proto文件

步骤三:调用protoc命令生成java代码

因为我的服务端和客户端都是使用java语言,所以都生成为java代码。(这里代码就不在贴出)

步骤四:在服务端的proto文件中增加字段

在这里我们增加一个email的字段

syntax ="proto3";package com.simple;option java_package="com.simple";option java_outer_classname="PersonMsg";message Person{    string name=1;    int32 age=2;    string email=3;//增加的字段}

然后我们还是调用protoc命令重新生成服务端的协议代码。

步骤五:编写测试代码,创建使用新协议的Person对象,并将对象序列化到文件中。

@Test    public void testSerilize() throws IOException {        Person.Builder builder = Person.newBuilder();                builder.setName("xiaoshan");        builder.setAge(20);        builder.setEmail("xxxxxxs@163.com");                Person person =builder.build();                byte[] byteArray = person.toByteArray();        FileOutputStream outstream = new FileOutputStream(new File("Person.txt"));                outstream.write(byteArray);        outstream.close();    }

步骤六:在客户端读取Person.txt文件,并反序列化成Person对象。

    @Test    public void testDeserialize() throws Exception{        FileInputStream inputStream = new FileInputStream(new File("Person.txt"));                Person person = Person.parseFrom(inputStream);        inputStream.close();        assertEquals(person.getName(),"xiaoshan");        assertEquals(person.getAge(),20);        //旧proto文件里面没有新加的email字段,所以生成的java代码里面也没有            }

运行junit,测试是ok的。
接下来的问题是,protobuf是如何做到的?
我们猜想,知道类型和长度我们就可以知道如何跳过这些字段了。
下面我们介绍protobuf的做法:

private Person(        com.google.protobuf.CodedInputStream input,        com.google.protobuf.ExtensionRegistryLite extensionRegistry)        throws com.google.protobuf.InvalidProtocolBufferException {      this();     ...........          try {        boolean done = false;        while (!done) {          int tag = input.readTag();          switch (tag) {            case 0:              done = true;              break;            default: {              if (!parseUnknownFieldProto3(                  input, unknownFields, extensionRegistry, tag)) {//这里是处理未知字段的                done = true;              }              break;            }            case 10: {              java.lang.String s = input.readStringRequireUtf8();//序列化name字段              name_ = s;              break;            }            case 16: {              age_ = input.readInt32();//序列化age字段              break;            }          }        }........

这里关键的是parseUnknownFieldProto3方法,传递了stream和一个unknownField的builder。

  protected boolean parseUnknownFieldProto3(      CodedInputStream input,      UnknownFieldSet.Builder unknownFields,      ExtensionRegistryLite extensionRegistry,      int tag)      throws IOException {    if (input.shouldDiscardUnknownFieldsProto3()) {//这个地方是跳过这个字段,而不把值存放到unknownFieldSet中      return input.skipField(tag); //根据key中的类型和长度跳过字节    }    return unknownFields.mergeFieldFrom(tag, input);  }

我们继续看下input.skipField的内容

@Override    public boolean skipField(final int tag) throws IOException {      switch (WireFormat.getTagWireType(tag)) {        case WireFormat.WIRETYPE_VARINT:          skipRawVarint();          return true;        case WireFormat.WIRETYPE_FIXED64:          skipRawBytes(FIXED64_SIZE);          return true;        case WireFormat.WIRETYPE_LENGTH_DELIMITED:  //我们的例子是增加string类型的email,所以走这个判断          skipRawBytes(readRawVarint32());          return true;        case WireFormat.WIRETYPE_START_GROUP:          skipMessage();          checkLastTagWas(              WireFormat.makeTag(WireFormat.getTagFieldNumber(tag), WireFormat.WIRETYPE_END_GROUP));          return true;        case WireFormat.WIRETYPE_END_GROUP:          return false;        case WireFormat.WIRETYPE_FIXED32:          skipRawBytes(FIXED32_SIZE);          return true;        default:          throw InvalidProtocolBufferException.invalidWireType();      }    }

如我们所料,根据key中的类型做相应的处理。如我们例子中新增加的email是string类型,所以走的是 WireFormat.WIRETYPE_LENGTH_DELIMITED判断,string类型的序列化格式是:key+length+value,
所以要调用readRawVarint32读取string的长度,后面再调用 skipRawBytes跳过即可。

注意:

在proto2中,序列化到未知的字段都会同意的存放到unknowField中,但是proto3不会保证这一点,如上例中未知的字段被放弃了,查看源码可知在proto3中CodedInputStream中增加了explictDiscardUnknownFields字段控制是放弃还是存放到unknowField中。所以在proto3中不要太依靠unknownField做操作。

剩下的问题二就留给读者自己思考吧!(答案是删除的字段不会被序列化,所以那边也读不到,具体查看PersonMsg中的gerSerializedSize方法)