thrift最初由facebook开发用做系统内各语言之间的RPC通信,所以在学习thrift之前我们先来了解一下rpc。
rpc是指远程过程调用,rpc的本质是就是通过socket把方法信息传输到远程服务器并执行相应method。
有人要问了socket是什么?socket的意思是插座,计算机通信领域被翻译为套接字,是计算机之间进行通信的一种约定或者一种方式。是基于tcp/udp协议的直接使用。
thrift的使用:
先从安装开始(环境mac,python3.6)
mac的安装:
brew install thrift
pip install thrift
认识一下idl
idl是Interface description language的缩写,指接口描述语言
thrift之所以开发简单是因为,我们只需要通过编写idl就能帮我们生成我们想要的接口,重点就在我们的idl的编写当中
第一步:
idl编写:
编写一个*.thrift的文件
如下所示:
struct Task{
1:required string task,
2:required string queue,
3:required i32 ExpTime
}
struct Callback{
1:required string key,
2:required string result
}
service companyTaskCallback {
string getTask(1:Task task),
string taskCallback(1:Callback result)
}
struct可以理解为我们平时编程中的类
1:,2:,3:,是指我们在调用时候类的参数,第一个参数,第二个参数,第三个参数
required是指该参数是必须的
string是字符串类型,i32是普通的int类型
service 就是我们的服务
第一位表示我们返回值的类型,然后是方法名,后面就是参数了,很明显,在thrift里参数是要用1,2,3这样的值来表示第几位,参数可以传对象,也可以传递参数
编写完成之后我们需要做的就是生成文件
thrift -r --gen py helloworld.thrift
py是指python文件,同时还有java,js等等。。。。
生成完成以后要开始写你的service和client代码了
如下所示:
service代码:
import json
import sys
import redis
sys.path.append('./gen-py')
from company_task import companyTaskCallback
from company_task.ttypes import *
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
from thrift.server import TServer
class HelloWorldHandler:
def __init__(self):
self.log = {}
def getTask(self,task):
print(task.queue)
return task.task
def taskCallback(self,result):
print(result.result)
return result.result
handler = HelloWorldHandler()
processor = companyTaskCallback.Processor(handler)
transport = TSocket.TServerSocket('127.0.0.1', 30303)
tfactory = TTransport.TBufferedTransportFactory()
pfactory = TBinaryProtocol.TBinaryProtocolFactory()
server = TServer.TSimpleServer(processor, transport, tfactory, pfactory)
server.setNumThreads(3)#进程池设置
print("Starting python server...")
server.serve()
print("done!")
下面是client代码
import json
import sys
sys.path.append('./gen-py')
from company_task import companyTaskCallback
from company_task.ttypes import *
from company_task.constants import *
from thrift import Thrift
from thrift.transport import TSocket
from thrift.transport import TTransport
from thrift.protocol import TBinaryProtocol
try:
# Make socket
transport = TSocket.TSocket('127.0.0.1', 30303)
# Buffering is critical. Raw sockets are very slow
transport = TTransport.TBufferedTransport(transport)
# Wrap in a protocol
protocol = TBinaryProtocol.TBinaryProtocol(transport)
# Create a client to use the protocol encoder
client = companyTaskCallback.Client(protocol)
# Connect!
transport.open()
task = Task(task='1', queue='1', ExpTime=30)
msg = client.getTask(task)
print(msg)
result = Callback(key = '3',result = '4')
msg = client.taskCallback(result)
print(msg)
transport.close()
except Thrift.TException as tx:
print("%s" % (tx.message))
然后分别启动service代码和client代码就完事儿了。然后就可以使用了。
几个小问题
- 为什么在pycharm上会报编译出错,但是运行没问题
因为生成代码的文件并不是一个python的包文件,就是普通的文件夹,无法进行引包的操作,两种处理方式要么自己重新新建一个文件夹,把文件移动过去,要么像我一样,用sys.path.append('./gen-py')的方式将包的路径手动加入到我们的运行环境中去。 -
生成的文件可以稍微解释一下吗?,文件夹都是放什么的
constens.py是用来放我们idl 中的常量,声明方法const string SUNSHINE_BOY = "CONNER"
ttypes.py 是用来放我们idl中struc类的东西
-传输协议
thrift的传输协议很多,但是我主要用的是两种TFramedTransportFactory和TBufferedTransportFactory,前者是使用一个非阻塞服务器时,要求使用这个传输协议。它按帧来发送数据,其中每一帧的开头是长度信息。
后者是nodejs版thrift默认的版本,thrift服务端默认只支持TBufferedTransport和TBinaryProtocol(js版本源码)
其实thrift的主要的内容其实都集中在idl文件如何来编译,怎么定格,但其他的因为我没有应用场景,就先不去看了,给自己留个坑,以后遇到的时候再回来慢慢补。今天的不完整使用就到此吧。
nodejs版本补录:
thrift -r --gen js:node hellow.thrift
npm install thrift
下面是node版本js代码
var thrift = require("thrift");
var hellow = require('./gen-nodejs/hellow');
var server = thrift.createServer(hellow,
{
getFirstJs: function (content) {
console.log(content);
return nie;
},
}
);
server.listen(30304);
console.log("server start");
server.on("error", function (e) {
console.log(e);
});