ayncio小结

  • 异步IO
    异步IO是指当代码执行到一个耗时IO操作时,它只发出IO指令,然后就去执行其他的代码,并不等待IO的执行结果。当一段时间后,IO操作返回结果时再通知CPU进行处理。

异步IO模型需要一个消息循环,在消息循环中,主线程不断地重复“读取消息-处理消息”的过程:

loop = get_event_loop()
while True: 
    event = loop.get_event() 
    process_event(event)
  • asyncio
    asyncio是python3.4版本引入的标准库,直接内置了对异步io的支持,它的编程模型就是一个消息循环。从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程扔到Eventloop中执行,就实现了异步IO。

实例:
用asyncio的一部网络来获取sina、sohu和163的网站首页:

import asyncio

@asyncio.coroutine
def wget(host): 
    print('wget %s...' % host) 
    connect = asyncio.open_connection(host, 80) 
    reader, writer = yield from connect 
    header = 'GET / HTTP/1.0\r\nHost: %s\r\n\r\n' % host
    writer.write(header.encode('utf-8')) 
    yield from writer.drain() 
    while True: 
        line = yield from reader.readline() 
        #yield from asyncio.sleep(2)
        if line == b'\r\n': 
            break 
        print('%s header > %s' % (host, line.decode('utf-8').rstrip())) 
    # Ignore the body, close the socket 
    writer.close()

loop = asyncio.get_event_loop()
tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

执行结果如下:

wget www.sina.com.cn...
wget www.163.com...
wget www.sohu.com...
www.sina.com.cn
www.sina.com.cn header > HTTP/1.1 200 OK
www.sina.com.cn header > Server: nginx
www.sina.com.cn header > Date: Mon, 19 Sep 2016 03:03:30 GMT
www.sina.com.cn header > Content-Type: text/html
www.sina.com.cn header > Last-Modified: Mon, 19 Sep 2016 03:03:13 GMT
www.sina.com.cn header > Vary: Accept-Encoding
www.sina.com.cn header > Expires: Mon, 19 Sep 2016 03:04:30 GMT
www.sina.com.cn header > Cache-Control: max-age=60
www.sina.com.cn header > X-Powered-By: schi_v1.02
www.sina.com.cn header > Age: 52
www.sina.com.cn header > Content-Length: 593409
www.sina.com.cn header > X-Cache: HIT from localhost
www.sina.com.cn header > Connection: close
www.163.com
www.163.com header > HTTP/1.1 200 OK
www.163.com header > Expires: Mon, 19 Sep 2016 03:05:44 GMT
www.163.com header > Date: Mon, 19 Sep 2016 03:04:24 GMT
www.163.com header > Server: nginx
www.163.com header > Content-Type: text/html; charset=GBK
www.163.com header > Vary: Accept-Encoding,User-Agent,Accept
www.163.com header > Cache-Control: max-age=80
www.163.com header > X-Via: 1.1 czdx87:4 (Cdn Cache Server V2.0), 1.1 jifang134:10 (Cdn Cache Server V2.0)
www.163.com header > Connection: close
www.sohu.com
www.sohu.com header > HTTP/1.1 200 OK
www.sohu.com header > Content-Type: text/html
www.sohu.com header > Content-Length: 92145
www.sohu.com header > Connection: close
www.sohu.com header > Date: Mon, 19 Sep 2016 03:02:52 GMT

www.sohu.com header > Server: SWS
www.sohu.com header > Vary: Accept-Encoding
www.sohu.com header > Cache-Control: no-transform, max-age=120
www.sohu.com header > Expires: Mon, 19 Sep 2016 03:04:52 GMT
www.sohu.com header > Last-Modified: Mon, 19 Sep 2016 03:02:45 GMT
www.sohu.com header > Content-Encoding: gzip
www.sohu.com header > X-RS: 17799606.26974656.25737794
www.sohu.com header > FSS-Cache: HIT from 5397379.8739725.6791606
www.sohu.com header > FSS-Proxy: Powered by 3496806.4938608.4891004

在上述执行结果中,按照正常的异步IO的逻辑,打印出header的host不应该连续,但实际上,出现这种结果的原因是因为line = yield from reader.readline() 的执行时间非常短,还没有等到线程去执行其他任务的时候就已经执行完毕,所以就出现了连续打印的结果。(个人理解)
比如将上述注释掉的yield from asyncio.sleep(2)还原回来,则执行结果就变成了如下结果:

wget www.sina.com.cn...
wget www.163.com...
wget www.sohu.com...
www.sina.com.cn
www.163.com

www.sohu.com
www.sina.com.cn header > HTTP/1.1 200 OK
www.sohu.com header > HTTP/1.1 200 OK
www.sina.com.cn header > Server: nginx
www.sohu.com header > Content-Type: text/html
www.163.com header > HTTP/1.1 200 OK
www.sina.com.cn header > Date: Mon, 19 Sep 2016 03:07:54 GMT
www.sohu.com header > Content-Length: 92072
www.163.com header > Date: Mon, 19 Sep 2016 03:08:56 GMT
www.sina.com.cn header > Content-Type: text/html
www.sohu.com header > Connection: close
www.163.com header > Server: openresty
www.sina.com.cn header > Last-Modified: Mon, 19 Sep 2016 03:06:45 GMT
www.sohu.com header > Date: Mon, 19 Sep 2016 03:05:22 GMT
www.163.com header > Content-Type: text/html; charset=GBK
www.sina.com.cn header > Vary: Accept-Encoding

拓展
  • yield
    yield的功能类似于return,加上yield的函数便不再是普通的函数,而变成了生成器。每当代码执行到了yield,代码就会中断执行,下次再继续从中断处继续执行。具体参考如下:
    yield的作用

  • yield和yield from
    yield from会把内嵌的generator输出当做当前generator输出的一部分。

def g(x):
... yield from range(x, 0, -1)
... yield from range(x)
...
list(g(5))
[5, 4, 3, 2, 1, 0, 1, 2, 3, 4]

也就是说yield from是可以将generator串联的。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,047评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,807评论 3 386
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,501评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,839评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,951评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,117评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,188评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,929评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,372评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,679评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,837评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,536评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,168评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,886评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,129评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,665评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,739评论 2 351

推荐阅读更多精彩内容