sync pool中的几个问题解答

之前在分享中,发现了自己在看sync.pool的源码中忽略了两个个重要的问题。这两个问题,确实是在看源码的过程中自己没思考的。确实,这也是分享的好处,分享让自己能从不同角度重新看待原来的问题。废话不过说,下面上课。

nocopy的作用,没有nocopy又会出现什么问题

首先介绍下golang的nocopy
这个nocopy只是在结构体里面声明的一个变量,声明这个变量并不是不能拷贝,只是在兽医go vet的检查下会报错。

noCopy 是 go1.7 开始引入的一个静态检查机制。它不仅仅工作在运行时或标准库,同时也对用户代码有效。
用户只需实现这样的不消耗内存、仅用于静态分析的结构,来保证一个对象在第一次使用后不会发生复制

然后说下介绍下waitgroup 使用拷贝会出现什么问题:
我们拿其中sync包下的waitgroup作为例子,看看waitgroup的拷贝会发生什么问题,首先我们看看waitgroup的结构体:

type WaitGroup struct {
    noCopy noCopy

    // 64-bit value: high 32 bits are counter, low 32 bits are waiter count.
    // 64-bit atomic operations require 64-bit alignment, but 32-bit
    // compilers do not ensure it. So we allocate 12 bytes and then use
    // the aligned 8 bytes in them as state, and the other 4 as storage
    // for the sema.
    state1 [3]uint32
}

这里声明了两个变量,其中一个就是nocopy,里一个是数组state1。好的,拷贝waitgroup意味着对数组拷贝,golang的拷贝的都是值拷贝,数组的拷贝就是深拷贝了,并不是重新拷贝指针。理解了这点之后,我们就能发现,在拷贝之后,对waitgroup的操作完全是在两个waitgroup上了,是不是有点恐怖,下面用一段代码来验证:

func main()  {
    var t sync.WaitGroup
    t.Add(1)
    go func(wait sync.WaitGroup) {
        fmt.Println(1)
        wait.Done()
    }(t)
    t.Wait()
    fmt.Println("done!")
}

这段代码中,新的groutine中使用了参数值传递的方式,来拷贝了waitgroup,原以为程序能够顺利的执行,没想到缺产生了
fatal error: all goroutines are asleep - deadlock!
同时,我们用vet检查下也能发现:

./main.go:96:4: call of func(wait sync.WaitGroup) {
        fmt.Println(1)
        wait.Done()
} copies lock value: sync.WaitGroup contains sync.noCopy
./main.go:93:15: func passes lock by value: sync.WaitGroup contains sync.noCopy

上面阐述了,通过值传递也拷贝了nocopy。
最后看看sync.pool的拷贝:
我们先看看sync.pool的结构体,这里使用的是golang1.14的版本,1.13之前的版本因为还有锁,所以拷贝就更加不被允许了。1.13之后因为使用了CAS进行操作,优化了锁的操作,这里就只讲了1.13之后的无锁版本,对于拷贝可能会出现的问题:

type Pool struct {
    noCopy noCopy

    local     unsafe.Pointer // local fixed-size per-P pool, actual type is [P]poolLocal
    localSize uintptr        // size of the local array

    victim     unsafe.Pointer // local from previous cycle
    victimSize uintptr        // size of victims array

    // New optionally specifies a function to generate
    // a value when Get would otherwise return nil.
    // It may not be changed concurrently with calls to Get.
    New func() interface{}
}

咋一看,都是指针啊,拷贝指针,总没问题吧,操作的总都是一块空间吧!这么说没问题,不过也还需要考虑指针指向的是什么?上面的local变量指向的是一个切片,索引的是每个pid的值。指向切片又有什么问题,当切片进行扩容操作的时候,地址是会被修改。基于这点,我们能看出,扩容后的pool和拷贝后pool是会出现不一致的情况的。那数据不一致又会对pool产生什么样的问题呢?数据不一致意味着对于有的pool来说,有的能拿出对象,有的不能,不能就得重新创建,重新创建就意味着内存重复利用的功能降低了,重复利用内存的概率降低了,就和pool的目的重复内存使用的目的产生了偏差。

pin是怎么保证GC不在绑定和解绑之间发生GC的

pool函数里面有个pin方法,目的是绑定G和M,并且获取M上的当前P的pid;同时,另一个功能是 保证GC不在绑定和解绑之间发生。
那么问题来了:他是怎么保证GC不触发的呢,这里翻了下GC的源码,看下下main这个:

func gcStart(trigger gcTrigger) {
    // Since this is called from malloc and malloc is called in
    // the guts of a number of libraries that might be holding
    // locks, don't attempt to start GC in non-preemptible or
    // potentially unstable situations.
    mp := acquirem()
    if gp := getg(); gp == mp.g0 || mp.locks > 1 || mp.preemptoff != "" {
        releasem(mp)
        return
    }
    releasem(mp)
    mp = nil
        ......
}

这里gc在开始之前,会获取当期那M,然后判断当前M上的几个参数,其中的一个参数是locks,这个只要大于0,便不会发生GC。这个locks会在调用pin的使用进行自增,以此来保证GC的不触发。同时,有产生了一个问题,pin的调用能保证GC的不触发,那么在大量pin的调用下,极端情况下,GC是不是不会执行了呢?这个还要学习!

好的,今天介绍了两个sync.pool中出现的问题,分别是nocopy,和pin。对于nocopy,首先介绍了nocopy,然后使用了waitgroup作为例子,最后介绍了pool的拷贝可能会产生的问题。在pin中,我们介绍了pin的保证GC不触发的原因,同时抛出了另一个问题:频繁pin下,GC还会执行吗?

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,607评论 6 507
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,239评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,960评论 0 355
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,750评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,764评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,604评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,347评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,253评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,702评论 1 315
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,893评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,015评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,734评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,352评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,934评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,052评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,216评论 3 371
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,969评论 2 355