1.概念
协程/纤程, 从概念上讲,属于 语言层面的支持,操作系统本身仅仅支持 进程和线程的概念,进程是操作系统进行资源分配的独立单位,线程则是调度的基本单位,多个线程共享进程的资源,而协程,则是在线程调度行为的又一次细分,避免线程的阻塞行为, 提高线程的调度效率。
2.协程实现上的问题
2.1 调度策略 :什么时候 停止 运行一个协程,去调度另一个协程?
线程阻塞的时候,调度器就需要切换正在执行的协程,调度新的协程。那么怎么辨别线程的阻塞行为呢?
线程的阻塞行为主要分为两种 : 操作系统调用[syscall]的阻塞 和 应用的阻塞原语[blocking primitive]。syscall 的阻塞比如有 socket读写、文件创建和读写等,blocking primitive 在不同语言有不同的体现,比如 java 的 CountDownLatch 、go 的 Channel等。
3.多语言的实现
3.1 python
python 2.7 的协程实现,主要通过 yield 生成器实现,本质上就是 迭代器的方式实现,但是 从本质上来说,python 只是通过 yield 实现了 类似 协程的行为,但是 本质上并不是 协程,因为解决不了 系统的阻塞行为,并不能很好的释放协程的生产力.
参考 :
PEP 255 — https://www.python.org/dev/peps/pep-0255/
PEP 342 — https://www.python.org/dev/peps/pep-0342/
PEP 492 — https://www.python.org/dev/peps/pep-0492/
博客 : https://github.com/xitu/gold-miner/blob/master/TODO/how-the-heck-does-async-await-work-in-python-3-5.md
3.2 go
Go 应该是对 协程支持的最好的一个,也是go 的高并发网络IO场景下完胜的原因. Socket/File 的 连接 读写 都会有阻塞行为,避免这样的阻塞对于高并发场景是非常有意义的.
go 对协程的支持算是最清晰的,具体的可以参看下面的论文。这里简述一下Go的工作结果.
1. 协程聚合[cluster] :将通过 Channel 通信的 协程/goroutine 作为 cluster进行管理,减少因为 Channel通信带来的上下文切换浪费,将 cluster 内的所有 协程都放在一个线程上,并且,steal work 过程中,也是讲 cluster 作为一个整体进行steal. 因为争用Channel的goroutine 被 cluster 聚合在一起,这样,同一个cluster 中的 goroutine 的Channel 避免了同步争用,提高了性能
- 通信强烈的goroutine 聚合在一起,会导致处理器缓慢,使用 steal work,减少处理器的过度运行
- 至少三个 goroutine, 分别是负责 gc、schedule、用户代码
- 为了避免调度全局锁的争用,每一个线程都有一个goroutine队列去执行
但是,问题也很明显,当goroutine 运行着繁重的 cpu任务、且没有阻塞行为的时候,协程就会退化成线程的效果,但是 因为维护了 协程的 信息,反而性能下降。
参考 :
http://www.cs.columbia.edu/~aho/cs6998/reports/12-12-11_DeshpandeSponslerWeiss_GO.pdf
3.3 java
Java的实现有很多种,主要有Quasar, 通过编译期间修改字节码实现,没有深入研究,不赘述。
参考
http://docs.paralleluniverse.co/quasar/
3。4 c++
facebook的 folly 有相关的实现,使用 事件循环实现,Baton 原语交出控制权,在包 folly 中,没有深入研究,不赘述.
参考 :
https://github.com/facebook/folly.git