协程(coroutine)学习笔记

什么是协程(coroutine)

Wiki定义:

Coroutines are computer program components that generalize subroutines for non-preemptive multitasking, by allowing execution to be suspended and resumed.
协同程序是一种计算机程序组件,它通过允许暂停和恢复执行,将子程序泛化以实现非抢占式的多任务处理。

我的理解是协程是一种轻量级线程,也是一种调度的单位,只是这种调度是用户(或者当前线程)主动进行的,操作系统感知不到。
每个协程拥有自己的执行上下文,当需要让出执行的时候,协程就把当前的上下文(寄存器、栈等等)保存起来,然后把其他协程的上下文恢复,以达到切换的目的。这种切换是完全在用户态进行,所以切换的性能比较髙。线程的切换需要进内核,所以性能慢一些,通常比协程慢一个数量级。

协程 vs 线程

  • 线程是抢占式的,协程是非抢占式的。
  • 线程数量通常不可以太多,而协程的数量可以非常多。如果线程的数量太多,那么大量线程的切换会影响性能。
  • 协程的调度是应用代码自己实现的,而线程的调度是操作系统实现的。

Stackfull协程 vs stackless协程

Stackless类型不保存调用栈以及寄存器等信息,不属于真正的重入,因此一些局部变量都是无法使用的。

Stackfull是真正的基于栈的重入,可以从某个嵌套的调用点上恢复执行。Stackfull协程在切换的时候,需要把当前的栈保存起来,以便在恢复的时候再次恢复执行,而stackless的则不需要。

对称(symmetric) vs 非对称(asymmetric)

协程依控制转移机制分为对称与非对称,对称协程中所有的协程都只有一种控制转移语义,即将控制转移至其他协程,此中的协程在这种机制下都是对称的。而非对称协程中调用者协程与被调用协程处于不对称的地位,和函数调用一样,被调用协程挂起之后控制总是会转移到调用者协程。

协程优点

个人理解,协程的唯一优点
目前看来,协程最主要的优点,就是可以使用同步的方式写异步执行的代码,使得代码逻辑更加简洁和清晰。

但是协程实际上还是无法完全避免写异步回调,因为我们需要在异步API的基础上,结合协程库,开发出“同步”的API。

很多文章中提出,协程的性能更高,个人觉得这个结论有待商榷。协程由于常常是自己实现的,所以自己实现的代码质量对性能有很大影响。另外抛开业务模式去谈性能,也不是很合理。再者,很多人说线程的切换怎么样怎么样的,协程可以有成千上万个,线程成千上万个就怎么样的,我觉得也很不客观。因为实际上,我们实现的时候,线程数通常都是固定的,或者是跟CPU核数有一定关系的,比如CPU核数是8,那么线程数可以也是8,甚至可以做到线程和CPU绑定,那么这个线程切换本身就是一个小概率事件,甚至理论上如果没有别的线程在跑,我们的线程可以做到不切换,所以根本就没有切换性能这一说。

协程的应用场景

我觉得协程的应用场景可能对于一些非常底层的,例如内核驱动、存储、数据库这样的应用,未必是合适的。而对于一些比较上层的应用,例如即时通信软件,可能是比较合适的。

协程有什么风险?

  • 无论是自己实现,还是采用第三方的库,都存在bug的风险。
  • 多线程场景下的并发安全问题。
  • 新技术的接受问题。目前团队中大家都熟悉了异步代码的编写方式,对于性能要求比较高的场景,API一般都是给出异步的,结合trace机制后,代码也不难调试,性能也足够。切换成协程后,可能反而有一定的接受难度。
  • 我相信协程在使用过程中,还会出现一些其它让我们始料未及的问题。
  • 对于thread local storage(TLS)的场景,需要重新考虑。目前我们基于TLS做了很多优化,这些优化在协程场景下,是否还正确?是否还可用?可能需要重新评估。
  • Debug上可能会有难度。例如如果core dump发生了,进程里有几千个协程,每个协程执行的情况,可能很难看出来。
  • 其它未考虑到的风险

协程对于我们团队来说有没有必要?

鉴于以上对协程的优缺点的分析,我个人认为,协程对我们团队来说,的确是一个可选项,可以考虑在比较上层(性能要求不是非常严苛)的场景下使用,会在一定程度上加快开发的速度。但协程对于我们来说,远远达不到必选项的条件。

目前我们的大部分基础库都是采用异步的方式实现的,我们的大部分业务代码,也是异步的,也就是用到了各种回调。其实难度也并没有想象那么大,类似的代码写习惯了,其实也挺简单的。后端的业务流程,个人觉得,写异步代码的困难程度,并不是瓶颈所在。

Implement in C

Simon Tatham通过C语言的宏,实现了一种协程,参考这里。通过这个例子可以学习到协程的一些定义。不过上面的实现很难直接用在生产环境,一方面它会对已有的源码有一些冲突,需要对现有的代码进行重构。另一方面它在宏里有一些malloc的动作,生产环境中可能不一定允许有这样的操作。

基于ucontext的实现

风云主要直接使用了现成的ucontext族的接口,这个接口从调研来看,主要的缺点在于性能慢,因为用到了系统调用。另外这个版本用到的是共享栈的做法。

代码量非常少,比较直观,不过基本上没有做错误处理,要用于生产环境的话,需要自己再改一下。代码托管在:https://github.com/cloudwu/coroutine/

C的另外一个实现:
http://xmailserver.org/libpcl.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,053评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,527评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,779评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,685评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,699评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,609评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,989评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,654评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,890评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,634评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,716评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,394评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,976评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,950评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,191评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,849评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,458评论 2 342

推荐阅读更多精彩内容