Go: Map设计(3)-并发访问

【译文】原文地址
Go博客中关于map的文章表明:map在并发使用中是不安全的,当同时对map进行读写结果是不确定的。如果多个Goroutine需要并发的对map进行读写,需要使用某种同步机制来保证读写安全。
然而,正如FAG中解释的,Goole提供了一些帮助:为了帮助正确使用map,Go语言的一些实现包含特殊的检查,当一个map被并发执行修改不安全时,该检查会在运行时自动报错。

数据竞争检测

我们可以从Go运行时得到的第一个帮助是数据竞争的检查。在运行go程序的时候使用-race参数,将会提供潜在的数据竞争提示。如下所示例子:

package main

import "sync"

func main() {
    m := make(map[string]int, 1)
    m[`foo`] = 1

    var wg sync.WaitGroup

    wg.Add(2)
    go func() {
        for i := 0; i < 1000; i++  {
            m[`foo`]++
        }
        wg.Done()
    }()
    go func() {
        for i := 0; i < 1000; i++  {
            m[`foo`]++
        }
        wg.Done()
    }()
    wg.Wait()
}

在这个例子当中,我们明显地看到两个goroutine在某一时间对同一个值进行写。以下是竞争检测的输出内容:

==================
WARNING: DATA RACE
Read at 0x00c00008e000 by goroutine 6:
   runtime.mapaccess1_faststr()
      /usr/local/go/src/runtime/map_faststr.go:12 +0x0
   main.main.func2()
      main.go:19 +0x69

Previous write at 0x00c00008e000 by goroutine 5:
   runtime.mapassign_faststr()
      /usr/local/go/src/runtime/map_faststr.go:202 +0x0
   main.main.func1()
      main.go:14 +0xb8

竞争检测显示第二个goroutine正在读,然而另一个goroutine正在对相应的value进行写。如果想了解更多这方面的内容,可以阅读其他数据竞争文章。

并发写检测

Go还提供了一个并发写检测的功能。我们可以使用同一个例子,我们可以看到执行程序将打印如下错误:

fatal error: concurrent map writes

Go通过map结构体中的flags字段来管理并发。当程序试图修改map(赋新值、删除value或者清空map),flags字段的某一位会被设置为1:

func mapdelete(t *maptype, h *hmap, key unsafe.Pointer) {
   [...]
   h.flags ^= hashWriting

hashWriting的值是4,并将相应的位设置为1。 ^是一个异或操作,如果两个操作数的位相反,则将对应位设置为1。


image.png

然而,该标志位将在操作结束时被重置:

func mapdelete(t *maptype, h *hmap, key unsafe.Pointer) {
   [...]
   h.flags &^= hashWriting
}

现在已经为修改map的每个操作设置了控制,可以通过flags标志位来防止并发写。下面是flag的一个生命周期例子:

func mapdelete(t *maptype, h *hmap, key unsafe.Pointer) {
   [...]
   // if another process is currently writing, throw error
   if h.flags&hashWriting != 0 {
      throw("concurrent map writes")
   }
   [...]
   // no one is writing, we can set now the flag
   h.flags ^= hashWriting
   [...]
   // flag reset
   h.flags &^= hashWriting

sync.Map对比带锁的Map

Sync包提供了一个对并发使用安全的map。然而,正如文档所描述的,需要具体选择哪种更好需要根据情况来定:sync中map类型是一个定制化的,然而,大多数情况下我们只需要普通map并带独立锁或其他协同即可,这样能够更容易的维护map的其他的变量。

正如Go:map设计(2)所述,map提供函数是根据我们使用map类型来选择的。

我们可以运行一个基准测试:一个带锁的map和sync包中的map。一个基准测试将并发的写入值,另一个基准测试将只读map中的值:

MapWithLockWithWriteOnlyInConcurrentEnc-8  68.2µs ± 2%
SyncMapWithWriteOnlyInConcurrentEnc-8       192µs ± 2%
MapWithLockWithReadOnlyInConcurrentEnc-8   76.8µs ± 3%
SyncMapWithReadOnlyInConcurrentEnc-8       55.7µs ± 4%

正如我们看到的,两个map各有优势。根据情况,我们可以任意选择,这些情况在相关文档有说明:在读多写少的情况下使用sync.Map,在多并发写情况使用带锁map。

Map VS sync.Map

FAQ解释了为什么内建map不实现并发安全:需要所有的map操作都获取互斥锁的话会降低大多数程序的性能,而只为了少数的并发安全。
下面可以运行一个不需要带并发安全的map基准测试,来观察安全map对性能的影响:

MapWithWriteOnly-8          11.1ns ± 3%
SyncMapWithWriteOnly-8       121ns ± 6%
MapWithReadOnly-8           4.87ns ± 7%
SyncMapWithReadOnly-8       29.2ns ± 4%

发现简单map要快7到10倍。在非并发模式下,这听起来显然是合乎逻辑的,但巨大的差异明确解释了为什么不让默认map并发安全更好。如果您不需要处理并发性,为什么要使程序变慢呢?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,458评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,030评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,879评论 0 358
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,278评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,296评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,019评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,633评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,541评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,068评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,181评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,318评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,991评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,670评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,183评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,302评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,655评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,327评论 2 358

推荐阅读更多精彩内容

  • 偶然看见这么篇文章:一道并发和锁的golang面试题。 虽然年代久远,但也稍有兴趣。 正好最近也看到了 sync....
    一块牛排阅读 1,864评论 0 1
  • go提供了一种叫map的数据结构,可以翻译成映射,对应于其他语言的字典、哈希表。借助map,可以定义一个键和值,然...
    songleo阅读 36,915评论 6 29
  • go并发编程入门到放弃 并发和并行 并发:一个处理器同时处理多个任务。 并行:多个处理器或者是多核的处理器同时处理...
    yangyunfeng阅读 567评论 0 2
  • 目录 统一规范篇 命名篇 开发篇 优化篇 统一规范篇 本篇主要描述了公司内部同事都必须遵守的一些开发规矩,如统一开...
    零一间阅读 1,931评论 0 2
  • 推荐指数: 6.0 书籍主旨关键词:特权、焦点、注意力、语言联想、情景联想 观点: 1.统计学现在叫数据分析,社会...
    Jenaral阅读 5,722评论 0 5