本次分上下两篇简单记录自己对protobuf协议的学习笔记, 上篇简单介绍protobuf, 记录了ubuntu系统中的安装过程, 并举了一个简单示例; 下篇将介绍protobuf的两个重要机制, 动态编译与类型反射.
能力有限, 如有疏漏望请指正.
引子
Google Protocol Buffer协议简称Protobuf, 是谷歌内部的混合语言数据标准
是一种高效轻便的结构化数据存储格式, 可用于将结构化数据串行化(序列化)
适合用于数据存储或RPC数据交换格式(不同平台, 不同机器之间的信息传递), 可用于通讯协议, 数据存储等领域的语言无关, 平台无关, 可扩展的序列化结构数据格式
提供多种语言支持, C++, Java, Python, C# ...(protobuf2的话只支持前三种)
缺陷 可读性差, 因为是以二进制形式存放的, 如果不配合对应的proto文件, 那么是无法看懂的. 这一点与XML截然相反(XML具有自描述性, 就是人能看懂的意思)
- protobuf是一种序列化协议
- 高效轻便
- 支持多语言
一 简介(随意跳过)
本小节本着不求甚解的原则简单讲一下使得protobuf更高效轻便的技术
其中1,1, 1.2, 1.3解释了为什么protobuf序列化数据非常简洁、紧凑，与XML相比，其序列化之后的数据量约为1/3到1/10****
其中1.4, 解释了为什么****解析速度快，比XML快约20-100倍****
1.1 varint编码方式
用一个多个字节来表示一个数字, 值越小采用的字节数越少
每个字节最高位用作标记位, 如果该bit为1, 表示后续部分也是该数字的一部分; 如果该bit为0, 那么表示结束. (这一点是varint编码的基本原理)
采用小端字节序
1.2 Key-Pair存储方式
采用此种key-value格式无需使用分隔符来分隔不同的field
通过key来标识field, 通过对应的key获取到对应的value
1.3 ZigZag编码
-
使用无符号数来表示有符号数
- 正负数交替出现的方式
优点 绝对值较小的数, 无论正负, 所需要用的比特位都会较少, 充分利用了varint编码的优点
1.4 解封包机制
-
XML的解封包机制, XML需要从文件中读取字符串, 然后转换为XML文档对象结构模型, 再从该模型中读取制定节点的字符串, 最后再将该字符串转换为制定类型的变量.
- 总之很复杂啦
-
Protobuf的解封包机制, 经由protobuf序列化得到的结构是以二进制的形式保存在文件中, 只需将对应的二进制读取进入C++结构类型中即可, 就是一个移位操作
- 显然更加高效, 当然也造成了毫无自描述性的问题...
二 安装
系统 ubuntu-16.04.4
protobuf 此处安装的protobuf3.6.0, github上随便一搜就有啦
解压, 切换至下载目录
tar -xvf protobuf-all-3.6.0.tar.gz protobuf-3.6.0/根据不同格式选择不同的解压命令啦切换至目标目录下
cd protobuf-3.6.0/观察一下有没有包含
configure文件, 如果不存在那么先执行./autogen.shshell脚本生成该文件./configure此处可以通过后缀--prefix=$INSTALL_DIR来指定想要安装的目标目录(将$INSTALL_DIR替换成自己想要的目录就好啦), 如果不指定一般是安装在默认的/usr/local/lib中make编译一下, 等个十来分钟吧make checkmake install安装protoc --version检查一下是否安装成功, 成功会显示版本号, 多半会失败啦, 那就看下一步-
如果提示
protoc: error while loading shared libraries: libprotoc.so.9: cannot open shared object file: No such file or directory, 那么是因为protobuf的安装路径(默认的/usr/local/lib)不在ubuntu体系中默认的LD_LIBRARY_PATH中, 所以无法找到对应的lib. 解决 只需要在/etc/ld.so.conf.d/目录下创建文件bprotobuf.conf文件, 并写入我们的安装路径(/usr/local/lib), 然后执行sudo ldconfig即可.- 其中
ldconfig是一个动态链接库管理命令，为了让动态链接库为系统所共享- 往
/lib和/usr/lib中添加动态库, 那么只需要执行ldconfig即可 - 除了此二目录以外的位置增加动态库时, 需要额外修改
/etc/ld.so.conf或者在/etc/ld.so.conf.d目录下创建包含对应目录的.conf文件, 而后执行ldconfig
- 往
- 其中
至此protobuf就算是安装完成啦, 使用
protoc --version再检查一下试试
如果上述安装步骤中遇到权限问题, 那么可以使用sudo命令, 或者切成root(慎用root 哈哈哈)
三 简单示例
编写简单的proto文件
// test.proto
syntax = "proto3";
package lm;
message helloworld
{
int32 id = 1;
string name = 2;
repeated string hero = 3;
}
protoc编译
protoc -I=./ --cpp_out=./ ./test.proto
其中
-I后接import的根目录,--cpp_out生成文件的目录, 最后一个参数表示待编译的文件编译后将会生成一个
.pb.cc文件和一个.pb.h文件
使用示例
#include <iostream>
#include <fstream>
#include "test.pb.h"
int main()
{
lm::helloworld ob1, ob2;
ob1.set_id(1);
ob1.set_name("szw");
ob1.add_hero("loong");
ob1.add_hero("uk");
printf("ob1\n");
ob1.PrintDebugString();
std::ofstream fout("test.txt");
if (!ob1.SerializeToOstream(&fout)){
perror("ob1 SerializeToOstream Wrong!\n");
exit(-1);
}
fout.close();
std::ifstream fin("test.txt");
if(!ob2.ParseFromIstream(&fin)){
perror("ob2 ParseFromIstream Wrong!\n");
exit(-1);
}
fin.close();
printf("ob2\n");
ob2.PrintDebugString();
return 0;
}
makefile
all:
g++ -std=c++11 -c -o test.o test.cpp
g++ -std=c++11 -c -o test.pb.o test.pb.cc
g++ -std=c++11 -o test test.o test.pb.o -lprotobuf -lpthread
clean:
rm -rf *.o
执行结果
ob1
id: 1
name: "szw"
hero: "loong"
hero: "uk"
ob2
id: 1
name: "szw"
hero: "loong"
hero: "uk"
