配置python-protobuf解析环境

protobuf是一种跨语言协议,不同语言之间只需定义同一份proto文件,即可实现不同种类的语言的协议沟通。由于工作中使用c++解码较为麻烦,为了提升工作效率,想通过python达到快速解析pb数据的目的(系统为macOS Sierra)。

image.png

出自文章 https://segmentfault.com/a/1190000010098194

python版本的protobuf安装

首先安装官方protobuf,通过执行protoc命令,可以将proto源文件编译成对应语言的数据结构文件和解析代码,如python对应的文件后缀名通常为.py和.pyc;官方下载链接:https://github.com/google/protobuf/releases,下载全量源码,然后解压、安装,然后确认安装是否成功。此外可以通过 brew install protobuf 直接安装。

cd 对应目录
./configure 
make 
make check 
make install
protoc --version

其次,安装对应的python protobuf模块,python引入该模块即可编写代码,实现pb文件的解析。安装python protobuf模块,首先安装pip,mac系统的python自带easy_install,因此直接输入命令:sudo easy_install pip;再通过pip来安装protobuf,命令:pip install protobuf;
遇到的问题:mac下python的six模块版本较低,且由于系统原因,无法被卸载安装新版,而pip在安装protobuf时需要,默认会下载安装较新版本的six模块,因此这里出现了冲突。通过参考该链接:https://github.com/pypa/pip/issues/3165,只需在使用pip安装python模块前,执行该命令即可:

pip install --ignore-installed six

使用python解析pb数据流程

这里使用c++对数据进行编码,并生成pb二进制文件,再通过python对pb二进制文件解码,得到c++输入的数据。使用c++写的client程序和python写的server服务器程序通信,在cleint端对数据编码,在server端对数据解码,通信方式采用socket,通信数据格式采用protobuf。

遇到的问题:当c++客户端-c++服务器,数据能正常编码和解析,而c++客户端-python服务器时,服务端python的recv函数接收的数据是null,无法正常接收。

解决方案:怀疑是python接收二进制数据问题,具体原因后续探究。因此把c++编码的protobuf数据再进行base64编码,将二进制proto数据变为字符串,当python服务端收到数据后,先进行base64解码,再对protobuf数据解码。

people.proto源文件:

package demo;
message People {  
  required string name = 1;  
  required int32 id = 2;  
  required string email = 3;  
}

切换到对应的proto源文件目录,执行命令,将产出两个文件people.pb.cc 和people.pb.h

protoc -I . --c++_out=. people.proto

切换到对应的proto源文件目录,执行以下命令,将产出文件people_pb2.pyc

protoc -I . --python_out=. people.proto

c++客户端代码:

#include <stdio.h>
#include <stdlib.h>
#include <strings.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <string>
#include <iostream>
#include "people.pb.h"//引入c++对应的proto文件
#include "base64.h"
#define MYPORT  8080
#define BUFFER_SIZE 1024
int main()
{
    ///定义sockfd
    int sock_cli = socket(AF_INET,SOCK_STREAM, 0);
    
    ///定义sockaddr_in
    struct sockaddr_in servaddr;
    memset(&servaddr, 0, sizeof(servaddr));
    servaddr.sin_family = AF_INET;
    servaddr.sin_port = htons(MYPORT);  ///服务器端口
    servaddr.sin_addr.s_addr = inet_addr("127.0.0.1");  ///服务器ip
    
    ///连接服务器,成功返回0,错误返回-1
    if (connect(sock_cli, (struct sockaddr *)&servaddr, sizeof(servaddr)) < 0)
    {
        perror("connect");
        exit(1);
    }
    
    char recvbuf[BUFFER_SIZE];
    char sendbuf[BUFFER_SIZE];
    int numbytes = (int)recv(sock_cli, recvbuf, BUFFER_SIZE, 0);
    recvbuf[numbytes] = '\0';
    std::string strbuf = recvbuf;
    std::cout << "Client Message: " << strbuf << std::endl;
    if(strbuf == "GET PEOPLE")
    {
        std::string data;
        demo::People p;
        p.set_name("xionghengheng");
        p.set_id(1881409);
        p.set_email("xionghengheng@gmail.com");
        p.SerializeToString(&data);//protobuf数据编码
        char bts[data.length()];
        strcpy(bts, data.c_str());
        Base64 *base64 = new Base64();
        std::string encode = base64->Encode((unsigned char*)bts, data.length());//base64编码
        memset(sendbuf, 0, sizeof(sendbuf));
        strcpy(sendbuf, encode.c_str());
        send(sock_cli, sendbuf, strlen(sendbuf), 0);
    }
    else
    {
        send(sock_cli, "Fucking client!\n", 16, 0);
    }
    memset(recvbuf, 0, sizeof(recvbuf));
    close(sock_cli);
    return 0;
}

python2.7服务端程序:

# -*- coding: UTF-8 -*-
import os
import socket
import time
import threading
import people_pb2 as people#引入python proto对应的文件
import base64
def tcplink(sock, addr):
    print('Accept new connection from %s:%s...' % addr)
    sock.send('GET PEOPLE'.encode())
    while True:
        data = sock.recv(2048)
        time.sleep(1)
        if data == 'exit' or not data:
            print("no data")
            break
        else:
            data = base64.b64decode(data)#base64解码
            peopleItem = people.People()
            peopleItem.ParseFromString(data)#protobuf数据解码
            print(peopleItem.name)
            print(peopleItem.id)
            print(peopleItem.email)
    sock.close()
    print('Connection from %s:%s closed.' % addr)
# 开启ip和端口
ip_port = ('127.0.0.1', 8080)
# 生成句柄
web = socket.socket()
# 绑定端口
web.bind(ip_port)
# 最多连接数
web.listen(5)
# 等待信息
print ('nginx waiting...')
# 开启死循环
while True:
    # 接受一个新连接:
    sock,addr = web.accept()
    # 创建新线程来处理TCP连接:
    t = threading.Thread(target=tcplink, args=(sock, addr))
    t.start()

服务端输出结果:

nginx waiting...
Accept new connection from 127.0.0.1:50828...
xionghengheng
1881409
xionghengheng@gmail.com
no data
Connection from 127.0.0.1:50828 closed.
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,904评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,581评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,527评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,463评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,546评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,572评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,582评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,330评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,776评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,087评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,257评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,923评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,571评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,192评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,436评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,145评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352

推荐阅读更多精彩内容