9多任务一一协程

创建自定义迭代器

教程要求创建自定义列表,视频中对于iter的结果又额外创建了一个类来定义,其实根本不用,直接return self就行了,next里对索引进行判断,超范围raise StopIteration错误。具体感觉没啥可说的。

图1

案例,迭代器实现菲波那切数列

图2

没啥说的,上代码即可

生成器

图3

生成器也是迭代器,怎么创建呢:

方法1,列表推导式的[]改成()

方法2,函数中使用yield(yield作用:替代return,每次挂起生成器函数和参数状态,当next时,再次从yield以后执行)

定义后可以通过next或者for访问元素

图4

如上代码用生成器实现菲波那切数列

注意生成器函数可以使用return,当执行到return后,生成器停止,抛出StopIteration异常,如果我们使用return 内容,那么使用next时捕获异常的内容就是return的内容

图5

我们还可以使用生成器的send方法传递参数,在生成器函数yield位置赋值给左侧r,这时,我们send什么值就会传递什么值(不是yield值),本来yield生成器函数被挂起,但是我们传值后,生成器继续启动,满足了if判断,这里需要注意我们没send前,r是一直为空的

协程

图6
图7

我们看上图,协程是用单个线程,比如主线程任务1出现了sleep阻塞时,我们就执行任务2,当任务2阻塞时就执行1,实现单线程分时复用

图8

协程切换可以实现高频次切换

图9

上图我们用简单生成器实现协程,因为是用yield挂起,next继续,所以程序执行是同步的,顺序不会乱

GREENLET模块

图10

我们之前用自己的代码简单实现了协程,这回我们使用已经封装好的greenlet

安装

windows          pip install greenlet

linux         sudo pip3 install greenlet

使用方法:

1导入模块from greenlet import greenlet

2创建几个greenlet对象

3先启动一个对象.使用switch()方法

4在每个对象执行的任务切换中,使用其他对象的switch()即可,这里就不用再使用yield

图11

执行代码效果如上

GEVENT模块实现协程

图12

我们之前已经用过greenlet了,但是还是需要手动切换,我们使用gevent可以实现自动检测代码耗时部分自动切换协程

安装

windows          pip install gevent

linux         sudo pip3 install gevent

使用方法:

1导入模块

2指派任务g1=gevent.spawn(func,arg1,arg2...)

3任务.join()            (如果不join会导致主线程结束,任务被清空)

图13

于是我们满满信心的写了代码,想让gevent自动识别耗时操作time.sleep然而不是这样。。

图14

我们可以使用gevent的sleep函数,这是被识别的,效果如上

如果我们就是想让gevent识别time模块的sleep呢,需要导入其monkey模块,使用打补丁方法patch_all(),这个方法一般放到开头

图15

以上就是代码,这样我们使用time的sleep也会识别出来了

图16

猴子补丁来源

图17

我们可以使用gevent.getcurrent()查看执行哪个任务

线程,进程,协程区别

图18

进程,计算机资源分配的基本单位,有自身的独立空间,开销比较大,但毕竟文档安全

线程,cpu调度分配的基本单元,资源消耗小,切换快,但容易丢失数据

协程,调度用户控制,保存切换的上下文和栈,切换非常快

图19

他们之间的关系,协程依赖主线程的执行,子线程和主线程共享资源,子进程复制主进程资源,子进程又可创建额外子进程

应用场景

图20

视频推荐效率比较高的是进程加协程

案例,多协程下载图片


图21

这里url就被和谐了,你懂得,成功实现多协程下载,这里需要注意的是,不能使用monkey打补丁,否则所有协程都会被识别为阻塞状态

我们还可以使用gevent.joinall(ggroup)来实现后两行的功能,joinall参数为gevent任务列表

协程还可以参与web服务器,主要是对新用户accept分配任务那里,这里我们要使用monkey打补丁,而且不用join,因为服务器代码默认是while True一直运行的

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351

推荐阅读更多精彩内容

  • 一、总体内容 1.1、协程的介绍 1.2、迭代器以及迭代器的应用 1.3、生成器(生成器与迭代器保存的都是生成数据...
    IIronMan阅读 861评论 0 1
  • 参考资料 http://www.gevent.org/contents.html https://uwsgi-do...
    JunChow520阅读 16,854评论 0 10
  • 迭代、迭代器、生成器、协程、yield、greenlet、gevent、进程线程协程对比、gevent多任务图片下...
    Cestine阅读 484评论 0 0
  • 一. 操作系统概念 操作系统位于底层硬件与应用软件之间的一层.工作方式: 向下管理硬件,向上提供接口.操作系统进行...
    月亮是我踢弯得阅读 5,962评论 3 28
  • python之进程、线程与协程 有这么个例子说他们的区别,帮助理解很有用。 有一个老板想开一个工厂生产手机。 他需...
    道无虚阅读 3,175评论 0 3