在项目中使用Protobuf协议实现数据传输(一)

简介

Google Protocol Buffer( 简称 Protobuf) 是 Google 公司内部的混合语言数据标准,目前已经正在使用的有超过 48,162 种报文格式定义和超过 12,183 个 .proto 文件。他们用于 RPC 系统和持续数据存储系统。

Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据串行化,或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。目前提供了 C++、Java、Python 三种语言的 API

Protobuf 的优点

Protobuf 有如 XML,不过它更小、更快、也更简单。你可以定义自己的数据结构,然后使用代码生成器生成的代码来读写这个数据结构。你甚至可以在无需重新部署程序的情况下更新数据结构。只需使用 Protobuf 对数据结构进行一次描述,即可利用各种不同语言或从各种不同数据流中对你的结构化数据轻松读写。

它有一个非常棒的特性,即“向后”兼容性好,人们不必破坏已部署的、依靠“老”数据格式的程序就可以对数据结构进行升级。这样您的程序就可以不必担心因为消息结构的改变而造成的大规模的代码重构或者迁移的问题。因为添加新的消息中的 field 并不会引起已经发布的程序的任何改变。

Protobuf 语义更清晰,无需类似 XML 解析器的东西(因为 Protobuf 编译器会将 .proto 文件编译生成对应的数据访问类以对 Protobuf 数据进行序列化、反序列化操作)。

使用 Protobuf 无需学习复杂的文档对象模型,Protobuf 的编程模式比较友好,简单易学,同时它拥有良好的文档和示例,对于喜欢简单事物的人们而言,Protobuf 比其他的技术更加有吸引力。具体借鉴网上分享与JSON,XML等比较的测试结果图,具体如下:

序列化数据对比

image

bytes字节数对比

image

Protobuf 的不足

Protbuf 与 XML 相比也有不足之处。它功能简单,无法用来表示复杂的概念。

XML 已经成为多种行业标准的编写工具,Protobuf 只是 Google 公司内部使用的工具,在通用性上还差很多。

由于文本并不适合用来描述数据结构,所以 Protobuf 也不适合用来对基于文本的标记文档(如 HTML)建模。另外,由于 XML 具有某种程度上的自解释性,它可以被人直接读取编辑,在这一点上 Protobuf 不行,它以二进制的方式存储,除非你有 .proto 定义,否则你没法直接读出 Protobuf 的任何内容

在Android Studio配置google protobuf

在project的build.gradle中配置

buildscript {
repositories {
    jcenter()
    mavenCentral()
}
dependencies {
    classpath 'com.android.tools.build:gradle:2.2.3'
    classpath 'com.google.protobuf:protobuf-gradle-plugin:0.8.0'
}
}

注意 Gradle版本至少是 2.12 并且Java 7,本例子使用的是2.2.3,protobuf-gradle-plugin使用最新的0.8.0版本。

在app的build.gradle中配置

顶部添加protobuf插件
apply plugin: 'com.google.protobuf'
android{
...

android结点增加proto文件位置配置
sourceSets {
    main {
        proto {
            srcDir 'src/main/proto'
            include '**/*.proto'
        }
        java {
            srcDir 'src/main/java'
        }
    }
}
}
添加依赖
dependencies {
...
compile 'com.google.protobuf:protobuf-java:3.1.0'
compile 'com.google.protobuf:protoc:3.1.0'
}
增加protobuf结点
protobuf {
protoc {
    artifact = 'com.google.protobuf:protoc:3.1.0'
}

generateProtoTasks {
    all().each { task ->
        task.builtins {
            remove java
        }
        task.builtins {
            java {}
            // Add cpp output without any option.
            // DO NOT omit the braces if you want this builtin to be added.
            cpp {}
        }
    }
}

generatedFilesBaseDir = "$projectDir/src/generated"
}

java端配置ProtoBuf

下载Protocol Buffers

官方地址或者maven仓库中下载即可。

通过.proto文件生成对应的.java/.h/.cc等文件

然后cmd cd到该目录 执行protoc.exe --java_out=./ book.proto,此时在这个目录下回生成BookOuterClass.java文件

在java客户端
序列化:

BookOuterClass.Book book=BookOuterClass.Book.newBuilder()
            .setId(1)
            .setDesc("codeBook")
            .setName("Prime")
            .build();
        
byte [] value = p.toByteArray()

反序列化:

BookOuterClass.Book book=BookOuterClass.Book.parseFrom(value);

在JAVA中如何使用生成的数据模型

protobuf与java type区分

image

proto描述文件的编写

例子

//syntax = "proto2";//声明proto版本,2.0与3.0以后语法差异很大
syntax = "proto3";
option java_package = "com.crf.jason.myapplication";
package bean;
message Book {
//    required int32 id = 1;//Proto 2.0版本,需要声明requires、optional等
//    required string name = 2;
//    optional string desc = 3;
    int32 id = 1;//Proto 3.0版本,不需要声明requires、optional等
    string name = 2;
    string desc = 3;
}

注意:

  • 顶部必须申明句法的版本号,如果不申明,则默认是2.0的语法。
  • 下面Message节里面的字段就是业务需要的各个字段了,等号后面的数字是序号,必须指定。在3.5版本中不用指定required、等关键字了。如果有需要使用2.0版本,具体参数的含义具体如下:
    • required:一个格式良好的消息一定要含有1个这种字段。表示该值是必须要设置的;
    • optional:消息格式中该字段可以有0个或1个值(不超过1个)
    • repeated:在一个格式良好的消息中,这种字段可以重复任意多次(包括0次)。重复的值的顺序会被保留。表示该值可以重复,相当于java中的List
  • Book 的名称格式与为生成的java文件的名称是有关系的。当然你也可以在文件里自定义java文件的名称
  • 生成的java代码中的的builder还是按照默认格式来生成的,所以,建议大家就直接按照默认规则来设计即可。 此外,还可以指定改java代码的包路径,命令如下:option java_package = "com.crf.jason.myapplication";(Android studio环境)


    image

在Android项目中使用

上述第四点可见,通过.proto文件会在debug目录生成对应的java或者cpp文件,这个文件就是我们用来处理服务端的响应转变成我们需要的java类,具体如下:

BookOuterClass.Book book=BookOuterClass.Book.parseFrom(out.toByteArray());

在java端使用

具体参考:Google官网的开发者文档

Google官方例子:

syntax = "proto2";

package tutorial;

option java_package = "com.example.tutorial";
option java_outer_classname = "AddressBookProtos";

message Person {
  required string name = 1;
  required int32 id = 2;
  optional string email = 3;

  enum PhoneType {
MOBILE = 0;
HOME = 1;
WORK = 2;
  }

  message PhoneNumber {
required string number = 1;
optional PhoneType type = 2 [default = HOME];
  }

  repeated PhoneNumber phones = 4;
}

message AddressBook {
  repeated Person people = 1;
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容