golang调度模式

前言

     Golang的调度也是有迭代历程的。在最初,调度模型采用的是GM模型,但是由于性能存在缺陷,在1.1之后的版本中,官方优化调整为GMP的模型,并且一直沿用至今。

GM调度模式

        GM模式中:G指的是协程,是goroutine的缩写;M指的是内核级线程(os的thread),是machine的缩写,可以理解是对CPU一个核core的抽象。GM的调度模式图大体如下:


需要注意两个点:

        全局队列:全局队列是存放G的一个队列,用来管理和调度G。

        锁:全局队列的访问是上锁的,在新生成G放入全局队列或M来取出全局队列中Goroutine的时候,需要经过锁,以此来保证全局队列的有序性。

        由此可见,GM模式存在缺陷:

        1. 频繁访问锁:每一次调度的过程需要经过锁,降低了调度的性能。

        2. 资源利用率低:当一个G被一个M0调用的时候,会把所需要的资源加载到M中。当出现异常情况或者切换G的时候,下一次这个G不一定被M0调用,那么寄存器中保存的信息可能会丢失。需要重新载入,切换上下文成本高。(最好保证G和一个M保持着联系,提高CPU的亲和性)

GMP调度模式

        在GM被使用者广泛吐槽之后,官方对此进行了优化,改用了GMP的模型,并且沿用之今,让我们来看一下GMP真面目,其大体模式图如下:

        G、M的含义与上述表达相同(G指协程,M指内核级线程)。P是对G的一层调度管理,是processor的缩写,那下面深入讲解一下P。

        P是为了优化GM中所存在的问题,而提出来的一个抽象层,他与G和M的关系如下:

        1.与M的关系:它与M进行绑定,并且拥有一个本地队列。优势有两个:

            一、降低锁的力度:M通过P来获取G消费的时候采用了CAS的方式,这样降低了锁的力度,提高了性能。

            二、提高资源利用率:M所需要消费的G则来自于P的本地队列,若出现阻塞等异常情况,也会放回P的本地队列,能够保证这个G所需要的资源都在对应的M中,减少了上下文切换的额外消耗。

        2.与G的关系:它通过自己的本地队列来存放G。异常情况有两种:如果当P满了的话则会把多余的G放到全局队列中;如果当P空了,他会去全局队列中获取G,如果全局队列也没有,那么他会通过抢占式的方式去获取其他P中的G。

        在GMP当中,M值得一提的是它采用了队列的方式来管理。当P需要找一个M进行消费G的话,则会通过M的资源队列来获取一个游离(空闲)的M进行绑定,如果没有的话会生成一个M。

抢占式调度

        上面再对GMP的介绍中稍微提到了一下抢占式的内容。现在我们具体来看一下抢占式调度的实现。

        抢占式调度是GMP模型中的一个特殊方式,分为以下三种,并且有严格的先后顺序。

            1.从P的本地队列获取G进行处理,无需加锁。

            2.在P本地队列没有G的情况下,去全局队列中获取G,需要加锁。

            3.在P和全局队列都没有G的情况下,P回去其他P中去窃取G,来进行自我消费。

对比GM与GMP

         GMP的P有自己的本地队列,减少了锁访问的频率与竞争。

        GMP中,G绑定于P,P绑定于M。在正常情况下,G和M是一个间接绑定的情况,所以保存了运行环境,提高了CPU的亲和性,减少了上下文的切换的额外花费。

        GMP实现了work-stealing算法,尽可能让每一个M都能有G可以处理,减少了CPU的空转时间,提高了资源利用率。

        总而言之,GMP在GM的基础上,将P额外的引入了runtime中,并且实现了抢占式调度,从而优化了GM模型中的劣势。

特殊情况

        G可以直接挂在M下面跑,例如:磁盘IO等。

源码分析

        下面的截图是针对GMP三个抽象类型的底层实现,只截取了部分我认为比较重要内容,通过注释的方式进行介绍,有兴趣的可以深入看一下源码文件:src/runtime/runtime2.go。(如果代码中出现标红的字段,是因为我把源码搬到了新的文件进行整理,无视即可)

        首先是G的结构体,以及其上下文内容的gobuf结构体:

G&Gobuf结构体部分展示

        其次是M:

M结构体部分展示

        其次是P:

P结构体部分展示

还有schedt(调度器):

Schedt结构体部分展示

对比P.localQueue和GlobalQueue

        1. P的本地队列runq是通过数组+双指针来实现的环形队列

        2. 全局队列的runq是单纯的链表结构(gQueue结构)

小结

        当前golang采用的是GMP模型,是在runtime层抽象出,G(groutine)、M(machine)、P(process)、Schedt(scheduler)四个结构体类型来进行协作调度与处理的。

- 欢迎评论区或公众号留言~

- 您的意见是我进步前行的力量~

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容