无标题文章

1. Stackless Python简介 

  

Stackless Python是CPython的增强版本,它实现了一个合作式多任务系统。和抢占式多任 

务系统不同,Stackless中的每个任务(tasklet)必须主动放弃对处理器的控制,才能实现 

多任务。 

  

严格地说,合作式多任务系统都可以通过简单的循环实现。但是使用Stackless可以让代码 

更清楚,同时也让程序员不必考虑复杂的同步控制,因为实际上实现合作式多任务系统的循 

环并不简单。另一方面,这种合作式多任务系统的资源消耗比传统线程小得多,加上 

Python有伟大的GIL,所以Stackless的效率还是很不错的。 

  

Stackless Python的主页是

http://www.stackless.com

,上面可以下载源代码和预编译的版 

本。同时也有不少文档——多是介绍性质的,缺少手册。幸好,使用Stackless Python不需 

要厚厚的手册,看了主页上的入门加上help()就足够了。Python的self-documenting就是好 

!下面有关Stackless的介绍可能尚不敷用,所以如果对Stackless Python感兴趣最好还是 

啃啃主页上的英文。 

  

1.1. tasklet & run 

  

Stackless中一个任务被称作一个tasklet,可以这样创建一个tasklet: 

stackless.tasklet(a_callable)(args)。之后处理这个任务就是运行a_callable(args) 

  

创建了一个或多个tasklet之后,可以用stackless.run()来运行这些任务。实际上可以认为 

run()是进入了多任务系统,如果还有可运行的任务(没有运行完或者阻塞在某个channel上 

),那么run()就会持续运行。 

  

1.2. schedule 

  

当在一个tasklet中运行stackless.schedule(),当前的任务就被挂起,并放在运行循环的 

最后。下面一个程序是一个死循环: 

  

import stackless 

def idle(): 

     while True: 

         print 'idle' 

         stackless.schedule() 

stackless.tasklet(idle)() 

stackless.run() 

  

1.3. channel: send & receive 

  

channel是tasklet之间的同步方式,使用stackless.channel()就能建立一个通信用的 

channel。channel可以传送任何Python对象。下面假设ch = stackless.channel()。 

  

ch.receive()返回从ch中收到的对象,如果ch中没有对象,则该tasklet被阻塞。 

  

ch.send(obj)把obj送入ch,如果已经有其他tasklet执行了ch.receive(),则当前tasklet 

停止运行并成为最后一个tasklet,而阻塞在ch.receive()的tasklet继续运行。如果没有, 

则当前tasklet阻塞在ch.send(obj)。 

  

这又是一个死循环: 

  

import stackless 

ch = stackless.channel() 

def ping(): 

     while True: 

         print ch.receive() 

         ch.send('ping') 

def pong(): 

     while True: 

         print ch.receive() 

         ch.send('pong') 

stackless.tasklet(ping)() 

stackless.tasklet(pong)() 

ch.send('start') 

stackless.run() 

  

2. 基于Stackless的多任务:三种行为模式 

  

概念基本上来自Introduction to Concurrent Programming with Stackless Python,分别 

是: 

  

Daemon——每个周期都要运行。 

class Daemon(object): 

     def __init__(self): 

         stackless.tasklet(self)() 

  

     def __call__(self): 

         while True: 

             self.run() 

             stackless.schedule() 

  

Task——只运行一次。 

class Task(object): 

     def __init__(self): 

         stackless.tasklet(self)() 

  

     def __call__(self): 

         self.run() 

  

Handler——通过channel处理请求,没有请求就阻塞。如果收到一个nil请求,则结束运行。 

class Handler(object): 

     def __init__(self): 

         self.channel = stackless.channel() 

         stackless.tasklet(self)() 

  

     def __call__(self): 

         is_alive = True 

         while is_alive: 

             message = self.channel.receive() 

             if message: 

                 is_alive = self.run(message) 

             else: 

                 is_alive = False 

  

在游戏中,Daemon实现一些管理功能,每个Object可能都要有一个Handler与之对应(反正 

大多数Handler都是阻塞的),但因为Handler模型需要分析收到的message,所以有的时候 

也可以用Task。 

  

3. 网络连接 

  

网络连接当然要使用异步socket,我从Python In A Nutshell抄了一个asyncore+asynchat 

的例子,放在子线程里运行asyncore.loop()。我没有用www.stackless.com提供的一个 

stacklesssocket,因为大概看了一下stacklesssocket.py,觉得好像有些问题。 

  

4. PyMud01 

  

代码:实现了一个echo server,利用了Daemon-Handler-Task三级模型。 

network_thread通过conn_manager.queue和主线程通信, 

EchoDaemon给每个不同的连接建立一个EchoHandler, 

收到信息时发给相应的EchoHandler,EchoHandler建立一个EchoTask。 

最后由EchoTask完成回显。 

  

import stackless 

import asyncore, asynchat, socket 

import threading, Queue 

  

class Monitor(asyncore.dispatcher): 

     def __init__(self, conn_manager, addr='', port=9000): 

         asyncore.dispatcher.__init__(self) 

         self.create_socket(socket.AF_INET, socket.SOCK_STREAM) 

         self.bind((addr, port)) 

         self.listen(5) 

         self.conn_manager = conn_manager 

          

     def handle_accept(self): 

         conn, addr_port = self.accept() 

         self.conn_manager.Create(conn, addr_port) 

  

class Connection(asynchat.async_chat): 

     def __init__(self, conn, addr_port, conn_manager): 

         asynchat.async_chat.__init__(self, conn) 

         self.set_terminator('\r\n') 

         self.addr_port = addr_port 

         self.data_pieces = [] 

         self.conn_manager = conn_manager 

          

     def collect_incoming_data(self, data): 

         self.data_pieces.append(data) 

  

     def found_terminator(self): 

         self.conn_manager.Receive(self.addr_port, ''.join(self.data_pieces)) 

         self.data_pieces = [] 

  

     def handle_close(self): 

         self.conn_manager.Close(self.addr_port) 

         self.close() 

          

class ConnectionManager(object): 

     def __init__(self): 

         self.queue = Queue.Queue() 

         self.conn_table = {} 

          

     def Create(self, conn, addr_port): 

         self.conn_table[addr_port] = Connection(conn, addr_port, self) 

  

     def Receive(self, addr_port, data): 

         self.queue.put_nowait((addr_port, data)) 

  

     def Send(self, addr_port, data): 

         self.conn_table[addr_port].push(data) 

  

     def Close(self, addr_port): 

         self.conn_table[addr_port] = None 

  

     def IsConnect(self, addr_port): 

         if self.conn_table.has_key(addr_port): 

             return bool(self.conn_table[addr_port]) 

         else: 

             return False 

          

conn_manager = ConnectionManager() 

  

class NetworkThread(threading.Thread): 

     def run(self): 

         Monitor(conn_manager) 

         asyncore.loop() 

      

network_thread = NetworkThread() 

network_thread.start() 

  

class Daemon(object): 

     def __init__(self): 

         stackless.tasklet(self)() 

  

     def __call__(self): 

         while True: 

             self.run() 

             stackless.schedule() 

  

class Task(object): 

     def __init__(self): 

         stackless.tasklet(self)() 

  

     def __call__(self): 

         self.run() 

  

class Handler(object): 

     def __init__(self): 

         self.channel = stackless.channel() 

         stackless.tasklet(self)() 

  

     def __call__(self): 

         is_alive = True 

         while is_alive: 

             message = self.channel.receive() 

             if message: 

                 is_alive = self.run(message) 

             else: 

                 is_alive = False 

  

class EchoTask(Task): 

     def __init__(self, addr_port, data): 

         Task.__init__(self) 

         self.addr_port = addr_port 

         self.data = data 

  

     def run(self): 

         print 'task:', stackless.getruncount(), self.addr_port, self.data 

         conn_manager.Send(self.addr_port, self.data+'\r\n') 

  

class EchoHandler(Handler): 

     def run(self, message): 

         print 'handler:', stackless.getruncount(), message 

         EchoTask(message[0], message[1]) 

         return True 

      

class EchoDaemon(Daemon): 

     def __init__(self): 

         Daemon.__init__(self) 

         self.handler_table = {} 

          

     def run(self): 

         for key in self.handler_table.keys(): 

             if not conn_manager.IsConnect(key): 

                 self.handler_table[key].channel.send(None) 

                 del self.handler_table[key] 

         try: 

             message = conn_manager.queue.get_nowait() 

         except Queue.Empty: 

             return 

         print 'daemon:', message 

          

         if not self.handler_table.has_key(message[0]): 

             self.handler_table[message[0]] = EchoHandler() 

             print 'daemon:', len(self.handler_table) 

  

         self.handler_table[message[0]].channel.send(message) 

  

EchoDaemon() 

  

stackless.run() 

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,390评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,821评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,632评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,170评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,033评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,098评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,511评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,204评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,479评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,572评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,341评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,893评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,171评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,486评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,676评论 2 335

推荐阅读更多精彩内容