Python协程

最近对Python中的协程挺感兴趣,这里记录对协程的个人理解。

要理解协程,首先需要知道生成器是什么。生成器其实就是不断产出值的函数,只不过在函数中需要使用yield这一个关键词将值产出。下面来看一个例子:

def gen():
    n = 0
    while True:
        yield n
        n += 1
        
        
g = gen()
print(g)  # <generator object gen at 0x00000246E165A7C8>
print(next(g))  # 输出结果为0
print(next(g))  # 输出结果为1

我们调用gen()函数并不会直接执行该函数,而是会得到一个生成器对象。对这个生成器对象调用next()函数,这个生成器对象会开始执行到第一个yield处,于是产出一个值0,注意:这时候gen()就暂停在yield处,直到第二次调用next()函数。

到这里我们可以发现,生成器函数是可以暂停的函数,它在调用方的驱使下(调用方使用next()函数),每次执行到yield处将yield后方的值产出给调用方后就暂停自己的执行,直到调用方下一次驱动它执行。

send

我们知道,生成器函数可以不断的产出值给调用方,那如果想要调用方传递值给生成器函数呢?这就自然而然的引入了send()函数。来看send()函数的使用:

def gen():
    s = yield "hello"
    print("用户传递进来的值为:%s" % s)
    yield s


g = gen()
print(next(g))
print(g.send("world")) 

执行上面的代码,我们可以看到结果如下:


来看看上面代码的执行:首先调用gen()得到一个生成器对象,这时候生成器函数还没有开始执行,接着调用next()函数,生成器函数执行到第一个yield处,产出字符串hello后暂停执行,调用方得到产出的值打印输出。然后调用方通过send()发送了一个字符串world给生成器函数,这时候,生成器函数将world赋值给s,继续它的执行,直到第二个yield处,将调用方传递进来的world返回给调用方。

到这里我们可以发现,此时的生成器函数既可以暂停时产出值,又可以接收调用方传递进来的值恢复执行,这就和协程的思想差不多了。

yield from

python3.3中提出了这样一个表达式yield from,我所知道的这个表达式有两个用法:

第一个用法是简化for循环:

def func():
    for x in "ABC":
        yield x

for x in func():
    print(x)

上面的写法等同于:

def func():
    yield from "ABC"

for x in func():
    print(x)

这是yield from 的第一种用法,即后面跟一个可迭代的对象,yield from可以在调用方的驱使下将可迭代对象一个一个的输出。

第二个用法是作为委派生成器使用:

def func():
    """生成器函数"""
    n = 0
    while True:
        s = yield n
        if s is None:
            break
        n += 1
    return n


def deligate():
    """委派生成器"""
    result = yield from func()
    print("the result is : %s" % result)


def main():
    """调用方"""
    g = deligate()
    print(next(g))
    for i in range(3):
        print(g.send(i))
    # 在这里发送None给生成器,生成器不会产出值而抛出StopIteration异常
    try:
        g.send(None)
    except StopIteration:
        pass


if __name__ == '__main__':
    main()

在上面的代码中,委派生成器使用了yield from,这就使得调用方在得到生成器对象时,可以通过send()方法和真正的生成器(这里为func)直接通信。于是我们在调用方中使用for循环了3次,每次传递进去的值都会传递给func函数中的s,当我们最后传递进一个None时,真正的生成器跳出for循环并将n的值返回,这时候委派生成器得到func生成器的返回值并将它赋给result。这样就完成了调用方和真正的生成器函数之间的通信,并且真正的生成器在执行结束之后会将结果返回给委派生成器。

我们可以看到,使用了yield from的委派生成器其实就是为调用方和真正的生成器提供了一个通道,这个通道可以让它们直接通信。

Event Loop

在真正的理解协程之前,还有个东西时我觉得必须要理解的,那就是事件循环(Event Loop)。

协程是单线程的,单线程就意味着所有的任务需要在单线程上排队执行,也就是前一个任务没有执行完成,后一个任务就没有办法执行。在CPU密集型的任务之中,这样其实还行,但是如果我们的任务都是IO密集型的呢?也就是我们大部分的任务都是在等待网络的数据返回,等待磁盘文件的数据,这就会造成CPU一直在等待这些任务的完成再去执行下一个任务。

有没有什么办法能够让单线程的任务执行不这么笨呢?其实我们可以将这些需要等待IO设备的任务挂在一边嘛!这时候,如果我们的任务都是需要等待的任务,那么单线程在执行时遇到一个就把它挂起来,这里可以通过一个数据结构(例如队列)将这些处于执行等待状态的任务放进去,为什么是执行等待状态呢?因为它们正在执行但是又不得不等待例如网络数据的返回等等。直到将所有的任务都放进去之后,单线程就可以开始它的接连不断的表演了:有没有任务完成的小伙伴呀!快来我这里执行!

此时如果有某个任务完成了,它会得到结果,于是发出一个信号:我完成了。那边还在循环追问的单线程终于得到了答复,就会去看看这个任务有没有绑定什么回调函数呀?如果绑定了回调函数就进去把回调函数给执行了,如果没有,就将它所在的任务恢复执行,并将结果返回。

到这里事件循环的大致作用已经说完了,我们可以看到,仅仅有协程是不够的,我们还需要事件循环和它配合使用,这样才能让多个协程可以并发的执行。

Python3.4中,引入了asyncio包,这个包提供了关于事件循环的实现,这就使得在Python中使用协程实现高并发成为可能。我们来模拟一个爬虫:

import asyncio


@asyncio.coroutine
def get_html(url, name):
    print("%s get %s html start" % (name, url))
    yield from asyncio.sleep(2)
    print("%s get %s html end" % (name, url))


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    # 创建两个协程
    tasks = [
        get_html("http://www.baidu.com", "A"),
        get_html("http://www.souhu.com", "B"),
    ]
    # 启动事件循环并将协程放进去执行
    loop.run_until_complete(asyncio.wait(tasks))

在上面的模拟爬虫的代码中,我们使用了装饰器@asyncio.coroutine来将这个get_html()函数定义为协程,在协程中使用了asyncio.sleep()函数模拟从网络请求数据。在执行的过程中,我们首先使用asyncio提供的get_event_loop()创建一个事件循环,这里我们不需要自己实现事件循环,接着创建两个协程,并将这两个协程扔到事件循环中执行。

运行上面代码,可以看到以下结果:


仔细观察,我们会发现在协程中并没有使用time.sleep()函数,而是使用了asyncio.sleep()函数,是因为time.sleep()函数会将整个线程休眠几秒,而asyncio.sleep()其实也是一个协程,这个协程将和事件循环直接通信并将一个Future对象交给事件循环,事件循环会一直监视着它直到它的任务完成(在这里就是休眠两秒),并不会将整个线程都停止执行。

到现在,我们可以使用基于生成器的协程和事件循环来做到高并发了。但是问题来了,这里是基于生成器的协程,生成器其实有自己的用法,为什么还要给它强加一个协程的用法呢?

async/await

Python3.5中引入了async/await这一组关键词,这就使得python可以定义原生协程了。await的用法和yield from用法类似,但是await后面只能跟Awaitable的对象(实现了__await__魔法方法),而yield from后面可以跟生成器、协程等等。

使用async/await修改上面的代码:

import asyncio


async def get_html(url, name):
    print("%s get %s html start" % (name, url))
    await asyncio.sleep(2)
    print("%s get %s html end" % (name, url))


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    # 创建两个协程
    tasks = [
        get_html("http://www.baidu.com", "A"),
        get_html("http://www.souhu.com", "B"),
    ]
    # 启动事件循环并将协程放进去执行
    loop.run_until_complete(asyncio.wait(tasks))

在Tornado的官方文档中,其实是建议用户使用async/await来定义原生协程,原因有以下几点:

1.原生协程要快于基于生成器的协程

2.原生协程可以使用async forasync with语法

其它更多的差异可以见Tornado的官方文档

参考文章

1.How the heck does async/await work in Python3.5

2.Python:Generator,Coroutine,Native Coroutine and Async/Await

3.Event Loop

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,099评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,828评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,540评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,848评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,971评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,132评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,193评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,934评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,376评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,687评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,846评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,537评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,175评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,887评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,134评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,674评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,741评论 2 351

推荐阅读更多精彩内容

  • Python 协程的基本概念 在学习 Python 基础的过程中,遇到了比较难理解的地方,那就是协程。刚开始看了廖...
    DevYuan阅读 987评论 0 7
  • 真正有知识的人的成长过程,就像麦穗的成长过程:麦穗空的时候,麦子长得很快,麦穗骄傲地高高昂起,但是,麦穗成熟饱满时...
    IT未来家阅读 1,568评论 2 19
  • 从语法上来看,协程和生成器类似,都是定义体中包含yield关键字的函数。yield在协程中的用法:在协程中yiel...
    JokerW阅读 1,802评论 0 0
  • The most reliable approach is to be caution in asserting ...
    张添雅阅读 199评论 0 1
  • 想和做 想了很多次,想了很多事 一次次信心满满,一次次疑惑重重 周而复始 树因为有了日月洗礼累积了年轮 人因为日思...
    韬哥_2c1d阅读 187评论 0 0