WSGI服务器最简单实现

之前写过关于wsgi和web框架的东西了。现在来实现一个最简单的wsgi服务器。

所谓的wsgi服务器就是一个在socket上进行一层抽象,将二进制数据解析为符合wsgi标准的程序。

首先和建立tcp服务器一样,先监听一个端口。

address_family = socket.AF_INET
socket_type = socket.SOCK_STREAM
self.listen_socket = listen_socket = socket.socket(
    self.address_family,
    self.socket_type
)
# 允许复用一个端口
listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
# 绑定服务器地址
listen_socket.bind(server_address)

服务器是一个接收 发送数据的程序,监听完端口后需要 接收 发送数据。
这里应该是一个循环,一直在进行接收 发送。

while True:
    # 新的客户端链接,获取客户端发送的数据
    self.client_connection, client_address = listen_socket.accept()
    # 对这个客户端的请求来进行执行
    self.handle_one_request()

对这个客户端的请求该怎么做呢? 这时就需要对数据进行解析了。由于这个一个wsgi服务器,解析成wsgi需要的格式。

这里需要把请求的路径 方法 和http协议的版本号拿出来。构造environ

env['wsgi.version']      = (1, 0)
env['wsgi.url_scheme']   = 'http'
env['wsgi.input']       = io.StringIO(self.request_data.decode())
env['wsgi.errors']       = sys.stderr
env['wsgi.multithread']  = False
env['wsgi.multiprocess'] = False
env['wsgi.run_once']     = False
# 必须的变量
env['REQUEST_METHOD']    = self.request_method    # 
env['PATH_INFO']         = self.path              # 客户端请求的路径
env['SERVER_NAME']       = self.server_name       # 
env['SERVER_PORT']       = str(self.server_port)  # 

这时请求基本就构造完毕了。

wsgi的接口是这样子的(environ, start_response)
还需要写一个start_response 构造响应头的函数。将构造好的响应在下一个函数里发送给客户端
这里只需要做这一句就好了
self.headers_set = [status, response_headers + server_headers]

在最后发送数据之前还需要一步,传入environ start_response 对application进行调用。

result = self.application(env, self.start_response)


最后一步,将这些数据变成二进制发送到客户端。

self.client_connection.sendall(response)

当然这只是一个最简化的wsgi服务器。一般只是调试使用。线上一般使用的是gunicorn

Gunicorn 使用pre-worker的工作模式。一个master进程管理若干个worker。所谓的
pre-worker指的就是在程序的一开始就把工作的进程启动。这样子就减少了动态切换的
开销。
在arbiter中能看到

def run(self):
    "Main master loop."
    self.start()
    util._setproctitle("master [%s]" % self.proc_name)

    try:
        self.manage_workers()

在启动中有两个很重要的函数 start 和 manage_workers
其中start用来初始化。主要是初始化 signal对象, 建立socket。

然后就是manage_workers()
用来管理工作进程,上面也说道了 master是管理工作进程,具体的执行master是不关心的。
这也就给了我们比较大的灵活性,我们能够自己来选择 使用同步 还是 异步。。。

if len(self.WORKERS.keys()) < self.num_workers:
self.spawn_workers()

这里有一个numworkers值,master维持着这么多的工作进程

workers = self.WORKERS.items()
# 按照工作进程的生成时间排序 干掉旧的进程
workers = sorted(workers, key=lambda w: w[1].age)
while len(workers) > self.num_workers:
    (pid, _) = workers.pop(0)
    self.kill_worker(pid, signal.SIGTERM)



spawn_workers是spawn_worker上的一层简单的封装。具体的实现在spawn_worker中


worker = self.worker_class(self.worker_age, self.pid, self.LISTENERS,
                           self.app, self.timeout / 2.0,
                       self.cfg, self.log)

这里的worker_class 是真正的工作进程。这里的worker_class可以是同步的 异步的。。
具体的worker_class在 workers文件夹下,同步的worker都继承了一个抽象类。

def __init__(self, age, ppid, sockets, app, timeout, cfg, log):
    """\
    This is called pre-fork so it shouldn't do anything to the
    current process. If there's a need to make process wide
    changes you'll want to do that in ``self.init_process()``.
    """
    self.age = age
    self.pid = "[booting]"
    self.ppid = ppid
    self.sockets = sockets
    self.app = app
    self.timeout = timeout
    self.cfg = cfg
    self.booted = False
    self.aborted = False
    self.reloader = None

这里接入参数。 在同步的这个worker这里继承。

worker
worker

这里真正的去接收请求 返回响应。其他种类的worker也是如此。

现在对gunicorn只是一个简单的阅读。能学到的好的设计方法就是定义一个公共的抽象基类。使用模版的概念。

wsgi服务器完整代码

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,558评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,002评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,024评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,144评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,255评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,295评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,068评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,478评论 1 305
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,789评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,965评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,649评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,267评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,982评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,800评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,847评论 2 351

推荐阅读更多精彩内容