相关知识可以参考
Cocos Creator Protobuf的js版本使用
protoc2 与 protoc3 区别
Golang gob与rpc简介
Go是如何实现protobuf的编解码的(2):源码
一、安装
参考golang使用protobuf插件
1.protoc
protoc是protobuf文件(.proto)的编译器,可以借助这个工具把 .proto 文件转译成各种编程语言对应的源码,包含数据类型定义、调用接口等。
通过查看protoc的源码(参见github库)可以知道,protoc在设计上把protobuf和不同的语言解耦了,底层用c++来实现protobuf结构的存储,然后通过插件的形式来生成不同语言的源码。可以把protoc的编译过程分成简单的两个步骤:
- 解析.proto文件,转译成protobuf的原生数据结构在内存中保存;
- 把protobuf相关的数据结构传递给相应语言的编译插件,由插件负责根据接收到的protobuf原生结构渲染输出特定语言的模板。
源码中(参见github库)包含的插件有 csharp、java、js、objectivec、php、python、ruby等多种。
在https://github.com/google/protobuf/releases下载protoc-3.7.0-win64.zip解压后,将bin文件夹下的protoc.exe复制到GOPATH/bin下即可(放这个目录是因为,我们的GOROOT在配置GoLang环境的时候,GoLang已经帮我们设置好了环境变量,如果你要放其他目录,那么要自己去设置环境变量)。
protoc-gen-go是protobuf编译插件系列中的Go版本。从上一小节知道原生的protoc并不包含Go版本的插件
由于protoc-gen-go是Go写的,所以安装它变得很简单,只需要运行 go get -u github.com/golang/protobuf/protoc-gen-go
,便可以在$GOPATH/bin目录下发现这个工具。
如果获取不到的话 可以自己去gitbub上面 clone或是下载 地址:连接地址
记得下载后要复制到github.com/golang
这个目录下,然后进行手动安装
go install github.com\golang\protobuf\protoc-gen-go
之后会在bin文件夹里面生成protoc-gen-go.exe,把protoc-gen-go.exe也放到%GOROOT%一起
3.生成
可以通过下面的命令来使用protoc-gen-go了。比如我们新建一个testCui.proto,然后执行protoc ./testCui.proto --go_out ./
就会生成一个testCui.pb.go文件。
我们可以修改命令来指定proto文件目录,且可以控制生成go文件的位置。进入cmd 执行protoc --proto_path=你proto文件的目录 --go_out=生成go文件的目录 你的proto文件.proto。这样就可以指定你的proto文件就可以放在任意地方了,包括可以直接在项目里面生成的go文件 不过每次都要进入cmd执行这这么麻烦命令也是很烦的,最后我还是写了bat文件
::执行命令不显示
@echo off
::更改当前目录为批处理本身的目录
set PATH=%~dp0
echo BAT PATH:%PATH%
::指定protoc路径
::set PROTOC=%GOPATH%\bin\protoc.exe
::echo PROTOC PATH:%PROTOC%
::指定当前bat目录下的protos文件夹为源目录
set PROTO_PATH=%PATH%protos
echo SOURCE PROTO_PATH:%PROTO_PATH%
::指定当前bat目录下的输出目录
set SERVER_PATH=%PATH%server
echo SERVER_PATH:%SERVER_PATH%
set CLIENT_PATH=%PATH%client
echo CLIENT_PATH:%CLIENT_PATH%
echo "************************************"
if exist %SERVER_PATH% (
::echo %SERVER_PATH% server path is exist
for /f "delims=" %%i in ('dir /b "%SERVER_PATH%\*.go"') do (
::echo delete server file: %%i
del /q %SERVER_PATH%\%%i
)
) else (
echo create server path
md %SERVER_PATH%
)
if exist %CLIENT_PATH% (
::echo %CLIENT_PATH% client path is exist
for /f "delims=" %%i in ('dir /b "%CLIENT_PATH%\*.js"') do (
::echo delete client file: %%i
del /q %CLIENT_PATH%\%%i
)
) else (
echo create client path
md %CLIENT_PATH%
)
for /f "delims=" %%i in ('dir /b "%PROTO_PATH%\*.proto"') do (
echo proto file:%%i
protoc --proto_path=./protos/ %%i --go_out %SERVER_PATH%
--js_out=import_style=commonjs,binary:%CLIENT_PATH%
)
pause
这里我把protoc.exe和protoc-gen-go.exe都复制到bat所在目录了。虽然可以使用%PROTOC%指定protoc所在目录,但是protoc-gen-go就比较麻烦了,go_out参数认不出来。
protoc --js_out=import_style=common.js, binary:. my.proto
这里有两种形式,一种是common.js,一种是closure(google style).common.js生成的js要使用 require命令导入,closuer.js生成的js要使用goo.provide命令来导入。
二、实例
参考golang 使用 protobuf 的教程,但是我生成的testCui.pb.go文件有一些XXX字段,然后Phone那个初始化就不行,但是Person可以
type Phone struct {
Type PhoneType `protobuf:"varint,1,opt,name=type,proto3,enum=testpb.PhoneType" json:"type,omitempty"`
Number string `protobuf:"bytes,2,opt,name=number,proto3" json:"number,omitempty"`
XXX_NoUnkeyedLiteral struct{} `json:"-"`
XXX_unrecognized []byte `json:"-"`
XXX_sizecache int32 `json:"-"`
}
type Person struct {
Id int32 `protobuf:"varint,1,opt,name=id,proto3" json:"id,omitempty"`
Name string `protobuf:"bytes,2,opt,name=name,proto3" json:"name,omitempty"`
Phones []*Phone `protobuf:"bytes,3,rep,name=phones,proto3" json:"phones,omitempty"`
XXX_NoUnkeyedLiteral struct{} `json:"-"`
XXX_unrecognized []byte `json:"-"`
XXX_sizecache int32 `json:"-"`
}
所以只能改成这样:
p1 := &testpb.Person{
Id: 1,
Name: "小张",
Phones: []*testpb.Phone{
{testpb.PhoneType_HOME, "111111111", struct{}{}, nil, 0},
{testpb.PhoneType_WORK, "222222222", struct{}{}, nil, 0},
},
};
然后就可以编码解码了:
//创建地址簿
book := &testpb.ContactBook{};
book.Persons = append(book.Persons, p1);
book.Persons = append(book.Persons, p2);
//编码数据
data, _ := proto.Marshal(book);
//把数据写入文件
ioutil.WriteFile("./test.txt", data, os.ModePerm);
}
func read() {
//读取文件数据
data, _ := ioutil.ReadFile("./test.txt");
book := &testpb.ContactBook{};
//解码数据
proto.Unmarshal(data, book);
for _, v := range book.Persons {
fmt.Println(v.Id, v.Name);
for _, vv := range v.Phones {
fmt.Println(vv.Type, vv.Number);
}
}
三、gogoprotobuf
参考golang使用protobuf
在go中使用protobuf,有两个可选用的包goprotobuf(go官方出品)和gogoprotobuf。gogoprotobuf完全兼容google protobuf,它生成的代码质量和编解码性能均比goprotobuf高一些。
gogoprotobuf有两个插件可以使用
- protoc-gen-gogo:和protoc-gen-go生成的文件差不多,性能也几乎一样(稍微快一点点)
- protoc-gen-gofast:生成的文件更复杂,性能也更高(快5-7倍)
在官网上可以看到:
Getting Started
There are several ways to use gogoprotobuf, but for all you need to install go and protoc. After that you can choose:
- Speed
- More Speed and more generated code
- Most Speed and most customization
1.Speed
Install the protoc-gen-gofast binary
go get github.com/gogo/protobuf/protoc-gen-gofast
Use it to generate faster marshaling and unmarshaling go code for your protocol buffers.
protoc --gofast_out=. myproto.proto
This does not allow you to use any of the other gogoprotobuf extensions.
2.More Speed and more generated code
Fields without pointers cause less time in the garbage collector. More code generation results in more convenient methods.
Other binaries are also included:
protoc-gen-gogofast (same as gofast, but imports gogoprotobuf)
protoc-gen-gogofaster (same as gogofast, without XXX_unrecognized, less pointer fields)
protoc-gen-gogoslick (same as gogofaster, but with generated string, gostring and equal methods)
Installing any of these binaries is easy. Simply run:
go get github.com/gogo/protobuf/proto
go get github.com/gogo/protobuf/{binary}
go get github.com/gogo/protobuf/gogoproto
3.Most Speed and most customization
Customizing the fields of the messages to be the fields that you actually want to use removes the need to copy between the structs you use and structs you use to serialize. gogoprotobuf also offers more serialization formats and generation of tests and even more methods.
Please visit the extensions page for more documentation.
Install protoc-gen-gogo:
go get github.com/gogo/protobuf/proto
go get github.com/gogo/protobuf/jsonpb
go get github.com/gogo/protobuf/protoc-gen-gogo
go get github.com/gogo/protobuf/gogoproto
4.安装
按照上面的说明,我想试试gogofaster,里面有描述without XXX_unrecognized。在第二部分使用官方库时,生成的这个XXX_属性,在初始化时很烦。
(1)go get -u github.com/gogo/protobuf/proto 这一步特别慢,差点强行关掉了。
(2)go get -u github.com/gogo/protobuf/protoc-gen-gogofaster
(3)go get github.com/gogo/protobuf/gogoproto
然后就能看到bin下面多了一个protoc-gen-gogofaster.exe了。
使用protoc .\testCui.proto --gogofaster_out ./
导出新的go文件,果然那一堆XXX不见了,然后之前的main文件可以直接运行。当然把import中的"github.com/golang/protobuf/proto"改成"github.com/gogo/protobuf/proto"也是可以的,使用下面的基准测试发现性能差不多啊,目前还不确定两者的区别。
package test
import (
//"github.com/golang/protobuf/proto"
"github.com/gogo/protobuf/proto"
"fmt"
"testing"
"testpb"
)
func BenchmarkPbMarshal(b *testing.B) {
p1 := &testpb.Person{
Id: 1,
Name: "小张",
Phones: []*testpb.Phone{
{testpb.PhoneType_HOME, "111111111"},
{testpb.PhoneType_WORK, "222222222"},
},
};
p2 := &testpb.Person{
Id: 2,
Name: "小王",
Phones: []*testpb.Phone{
{testpb.PhoneType_HOME, "333333333"},
{testpb.PhoneType_WORK, "444444444"},
},
};
//创建地址簿
book := &testpb.ContactBook{};
book.Persons = append(book.Persons, p1);
book.Persons = append(book.Persons, p2);
//fmt.Println("book",*book)
b.ResetTimer()
for i := 0; i < b.N; i++ {
_, err := proto.Marshal(book);
if(err != nil){
fmt.Println("marshal error")
}
}
}