5分钟搞懂 Golang noCopy策略

本文介绍了 Golang 中的 noCopy 策略,解释了如何防止包含锁的结构体被错误拷贝,以及如何使用 go vet 工具检测潜在的拷贝问题。原文:noCopy Strategies You Should Know in Golang

1. Sync.noCopy

在学习 Go 的 WaitGroup 代码时,我注意到了 noCopy,并看到一个熟悉的注释:"首次使用后不得复制"。

// A WaitGroup must not be copied after first use.
// 
// In the terminology of the Go memory model, a call to Done
//  “synchronizes before” the return of any Wait call that it unblocks.
type WaitGroup struct {
    noCopy noCopy

    state atomic.Uint64 // high 32 bits are counter, low 32 bits are waiter count.
    sema  uint32
}

搜索后发现,"首次使用后不得复制" 经常和 noCopy 一起出现。

// Note that it must not be embedded, due to the Lock and Unlock methods.
type noCopy struct{}

// Lock is a no-op used by -copylocks checker from `go vet`.
func (*noCopy) Lock()    {}
func (*noCopy) Unlock()  {}

通过查看 Go 1.23 中 noCopy 的定义发现:

  • noCopy 类型是一个空结构体。
  • noCopy 类型实现了两种方法:LockUnlock,这两种方法都是非操作方法。
  • 注释强调,LockUnlockgo vet 检查器使用。

noCopy 类型没有实际的功能特性,只有通过思索和实验才能理解其具体用途,以及为什么 "首次使用后不得复制"?

2. Go Vet 和 "锁值错误传递"

当我们输入以下命令:

go tool vet help copylocks

输出:

copylocks: check for locks erroneously passed by value

Inadvertently copying a value containing a lock, such as sync.Mutex or
sync.WaitGroup, may cause both copies to malfunction. Generally such
values should be referred to through a pointer.

Go Vet 告诉我们在使用包含锁(如 sync.Mutexsync.WaitGroup)的值并通过值传递时,可能会导致意想不到的问题。例如:

package main

import (
    "fmt"
    "sync"
)

type T struct {
    lock sync.Mutex
}

func (t T) Lock() {
    t.lock.Lock()
}

func (t T) Unlock() {
    t.lock.Unlock()
}

func main() {
    var t T
    t.Lock()
    fmt.Println("test")
    t.Unlock()
    fmt.Println("finished")
}

运行这段代码,将输出错误信息:

// output
test
fatal error: sync: unlock of unlocked mutex

goroutine 1 [running]:
sync.fatal({0x4b2c9b?, 0x4a14a0?})
         /usr/local/go-faketime/src/runtime/panic.go:1031 +0x18
// ❯ go vet .
# noCopy
./main.go:12:9: Lock passes lock by value: noCopy.T contains sync.Mutex
./main.go:15:9: Unlock passes lock by value: noCopy.T contains sync.Mutex
Copy

错误原因是 LockUnlock 方法使用了值接收器 t,在调用方法时会创建 T 的副本,这意味着 Unlock 中的锁实例与 Lock 中的锁实例不匹配。

为了解决这个问题,可以将接收器改为指针类型:

func (t *T) Lock() {
    t.lock.Lock()
}

func (t *T) Unlock() {
    t.lock.Unlock()
}

同样,在使用 CondWaitGroup 和其他包含锁的类型时,需要确保它们在首次使用后不会被复制。例如:

package main

import (
    "fmt"
    "sync"
    "time"
)

func worker(id int, wg sync.WaitGroup) {
    defer wg.Done()
    fmt.Printf("Worker %d starting\n", id)
    time.Sleep(time.Second)
    fmt.Printf("Worker %d done\n", id)
}

func main() {
    var wg sync.WaitGroup

    for i := 1; i <= 3; i++ {
        wg.Add(1)
        go worker(i, wg)
    }

    wg.Wait()

    fmt.Println("All workers done!")
}

运行这段代码,也会输出错误信息:

/////
Worker 3 starting
Worker 1 starting
Worker 2 starting
Worker 1 done
Worker 3 done
Worker 2 done
fatal error: all goroutines are asleep - deadlock!

goroutine 1 [semacquire]:
sync.runtime_Semacquire(0xc000108040?)

// ❯ go vet .
# noCopy
./main.go:9:24: worker passes lock by value: sync.WaitGroup contains sync.noCopy
./main.go:21:16: call of worker copies lock value: sync.WaitGroup contains sync.noCopy

要解决这个问题,可以使用相同的 wg 实例,大家可以自己试一下。有关 copylocks 的更多信息可以查看 golang 官网。

3. 尝试 go vet 检测

go vetnoCopy 机制是一种防止结构体被拷贝的方法,尤其是那些包含同步原语(如 sync.Mutexsync.WaitGroup)的结构,目的是防止意外的锁拷贝,但这种防止并不是强制性的,是否拷贝需要由开发者检测。例如:

package main

import "fmt"

type noCopy struct{}

func (*noCopy) Lock()   {}
func (*noCopy) Unlock() {}

type noCopyData struct {
 Val int32
 noCopy
}

func main() {
 c1 := noCopyData{Val: 10}
 c2 := c1
 c2.Val = 20
 fmt.Println(c1, c2)
}

上面的示例没有任何实际用途,程序可以正常运行,但 go vet 会提示 "passes lock by value" 警告。这是一个尝试 go vet 检测机制的小练习。

不过,如果需要编写与同步原语(如 sync.Mutexsync.WaitGroup)相关的代码,noCopy 机制可能就会有用。

4. 其他 noCopy 策略

据我们了解,go vet 可以检测到未被严格禁止的潜在拷贝问题。有没有严格禁止拷贝的策略?是的,有。让我们看看 strings.Builder 的源代码:

// A Builder is used to efficiently build a string using [Builder.Write] methods.
// It minimizes memory copying. The zero value is ready to use.
// Do not copy a non-zero Builder.
type Builder struct {
    addr *Builder // of receiver, to detect copies by value

    // External users should never get direct access to this buffer,
    // since the slice at some point will be converted to a string using unsafe,
    // also data between len(buf) and cap(buf) might be uninitialized.
    buf []byte
}

func (b *Builder) copyCheck() {
    if b.addr == nil {
        // This hack works around a failing of Go's escape analysis
        // that was causing b to escape and be heap allocated.
        // See issue 23382.
        // TODO: once issue 7921 is fixed, this should be reverted to
        // just "b.addr = b".
        b.addr = (*Builder)(abi.NoEscape(unsafe.Pointer(b)))
    } else if b.addr != b {
        panic("strings: illegal use of non-zero Builder copied by value")
    }
}


// Write appends the contents of p to b's buffer.
// Write always returns len(p), nil.
func (b *Builder) Write(p []byte) (int, error) {
    b.copyCheck()
    b.buf = append(b.buf, p...)
    return len(p), nil
}

关键点是:

b.addr = (*Builder)(abi.NoEscape(unsafe.Pointer(b)))

这行代码的作用如下:

  • unsafe.Pointer(b):将 b 转换为 unsafe.Pointer,以便与 abi.NoEscape 一起使用。
  • abi.NoEscape(unsafe.Pointer(b)):告诉编译器 b 不会转义,即可以继续在栈而不是堆上分配。
  • (*Builder)(...): 将 abi.NoEscape 返回值转换回 *Builder 类型,以便正常使用。
  • 最后,b.addr 被设置为 b 本身的地址,这样可以防止 Builder 被复制(在下面的逻辑中检查 b.addr != b)。

go1.23.0 builder.go abi.NoEscape

使用有拷贝行为的 strings.Builder 会导致 panic:

func main() {
    var a strings.Builder
    a.Write([]byte("a"))
    b := a
    b.Write([]byte("b"))
}
// output
panic: strings: illegal use of non-zero Builder copied by value
goroutine 1 [running]:
strings.(*Builder).copyCheck(...)
5. 总结
  • 同步原语(如 sync.Mutexsync.WaitGroup)不应被拷贝,因为一旦被拷贝,其内部状态就会重复,从而导致并发问题。
  • 虽然 Go 本身并没有提供严格防止拷贝的机制,但 noCopy 结构提供了一种非严格的机制,用于 go vet 工具的识别和拷贝检测。
  • Go 中的某些源代码会在运行时执行 noCopy 检查并返回 panic,例如 strings.Buildersync.Cond
参考资料

Detect locks passed by value in Go

What does “nocopy after first use” mean in golang and how


你好,我是俞凡,在Motorola做过研发,现在在Mavenir做技术工作,对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI等技术始终保持着浓厚的兴趣,平时喜欢阅读、思考,相信持续学习、终身成长,欢迎一起交流学习。为了方便大家以后能第一时间看到文章,请朋友们关注公众号"DeepNoMind",并设个星标吧,如果能一键三连(转发、点赞、在看),则能给我带来更多的支持和动力,激励我持续写下去,和大家共同成长进步!

本文由mdnice多平台发布

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,734评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,931评论 3 394
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,133评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,532评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,585评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,462评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,262评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,153评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,587评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,792评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,919评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,635评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,237评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,855评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,983评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,048评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,864评论 2 354

推荐阅读更多精彩内容