go-内存机制(2)- 逃逸分析的影响

逃逸对性能的影响

在(1)中,通过一个共享在 goroutine 的栈上的值的例子讲解了逃逸分析的基础。还有其他没有介绍的造成值逃逸的场景。为了帮助大家理解,我将调试一个分配内存的程序,并使用非常有趣的方法。

程序

我想了解 io 包,所以我创建了一个简单的项目。给定一个字符序列,写一个函数,可以找到字符串 elvis 并用大写开头的 Elvis 替换它。

func algOne(data []byte, find []byte, repl []byte, output *bytes.Buffer) {

    // 使用一个字节流来处理
    input := bytes.NewBuffer(data)

    // 我们想要替换的字节内容长度
    size := len(find)

    //用来判断的窗口
    buf := make([]byte, size)
    end := size - 1

    // 先从input中读出,填满窗口
    if n, err := io.ReadFull(input, buf[:end]); err != nil {
        output.Write(buf[:n])
        return
    }

    for {

        // 一次读一个(等于窗口右移)
        if _, err := io.ReadFull(input, buf[end:]); err != nil {    
            output.Write(buf[:end])
            return
        }

        // If we have a match, replace the bytes.
        if bytes.Compare(buf, find) == 0 {
            output.Write(repl)
            // Read a new initial number of bytes.
            if n, err := io.ReadFull(input, buf[:end]); err != nil {
                output.Write(buf[:n])
                return
            }

            continue
        }

        // Write the front byte since it has been compared.
        output.WriteByte(buf[0])

        // Slice that front byte out.
        copy(buf, buf[1:])
    }
}

我想知道的是这个函数的性能表现得怎么样,以及它在堆上分配带来什么样的压力。为了这个目的,我们将进行压力测试。

压力测试(Benchmarking)

func BenchmarkAlgorithmOne(b *testing.B) {
    var output bytes.Buffer
    in := assembleInputStream()
    find := []byte("elvis")
    repl := []byte("Elvis")

    b.ResetTimer()

    for i := 0; i < b.N; i++ {
        output.Reset()
        algOne(in, find, repl, &output)
    }
}
D:\GoProject\GoStudy\mem>go test -run none -bench AlgorithmOne -benchtime 3s -benchmem
goos: windows
goarch: amd64
BenchmarkAlgorithmOne-8          1015215              3451 ns/op              53 B/op          2 allocs/op
PASS
ok      _/D_/GoProject/GoStudy/mem      8.755s

运行完压力测试后,我们可以看到 algOne 函数分配了两次值,每次分配了 117 个字节。这真的很棒,但我们还需要知道哪行代码造成了分配。为了这个目的,我们需要生成压力测试的分析数据。

性能分析(Profiling)

为了生成分析数据,我们将再次运行压力测试,但这次为了生成内存检测数据,我们打开 -memprofile 开关。
一旦压力测试完成,测试工具就会生成两个新的文件

               456 mem.out
         3,398,144 mem.test.exe

有了分析数据和二进制测试文件,我们就可以运行 pprof 工具学习数据分析.
当分析内存数据时,为了轻而易举地得到我们要的信息,你会想用 -alloc_space 选项替代默认的 -inuse_space 选项。这将会向你展示每一次分配发生在哪里,不管你分析数据时它是不是还在内存中。

在 (pprof) 提示下,我们使用 list 命令检查 algOne 函数。这个命令可以使用正则表达式作为参数找到你要的函数。

(pprof) list algOne
Total: 86.50MB
ROUTINE ======================== _/D_/GoProject/GoStudy/mem.algOne in D:\GoProject\GoStudy\mem\demo1.go
    7.50MB    86.50MB (flat, cum)   100% of Total
         .          .     37:   return &u
         .          .     38:}
         .          .     39:func algOne(data []byte, find []byte, repl []byte, output *bytes.Buffer) {
         .          .     40:
         .          .     41:   // 使用一个字节流来处理
         .       79MB     42:   input := bytes.NewBuffer(data)
         .          .     43:
         .          .     44:   // 我们想要替换的字节内容长度
         .          .     45:   size := len(find)
         .          .     46:
         .          .     47:   //用来判断的窗口
    7.50MB     7.50MB     48:   buf := make([]byte, size)
         .          .     49:   end := size - 1
         .          .     50:
         .          .     51:   // 先从input中读出,填满窗口
         .          .     52:   if n, err := io.ReadFull(input, buf[:end]); err != nil {
         .          .     53:           output.Write(buf[:n])
func NewBuffer(buf []byte) *Buffer { return &Buffer{buf: buf} }

基于这次的数据分析,我们现在知道了 input,buf 切片在堆中分配。因为 input 是指针变量,分析数据表明 input 指针变量指定的 bytes.Buffer 值分配了.

编译器报告

 &bytes.Buffer literal escapes to heap:
.\demo1.go:42:26:   flow: ~R0 = &{storage for &bytes.Buffer literal}:
.\demo1.go:42:26:     from &bytes.Buffer literal (spill) at .\demo1.go:42:26
.\demo1.go:42:26:     from ~R0 = <N> (assign-pair) at .\demo1.go:42:26
.\demo1.go:42:26:   flow: input = ~R0:
.\demo1.go:42:26:     from input := (*bytes.Buffer)(~R0) (assign) at .\demo1.go:42:8
.\demo1.go:42:26:   flow: io.r = input:
.\demo1.go:42:26:     from input (interface-converted) at .\demo1.go:69:28
.\demo1.go:42:26:     from io.r, io.buf = <N> (assign-pair) at .\demo1.go:69:28
.\demo1.go:42:26:   flow: {heap} = io.r:
.\demo1.go:42:26:     from io.ReadAtLeast(io.r, io.buf, len(io.buf)) (call parameter) at .\demo1.go:69:28

interface-converted这几行告诉我们代码中的第 93 行造成了逃逸。input 变量被赋值给一个接口变量。

42 input := bytes.NewBuffer(data)
69 if n, err := io.ReadFull(input, buf[:end]); err != nil 
func ReadFull(r Reader, buf []byte) (n int, err error) {
    return ReadAtLeast(r, buf, len(buf))
}

传递 bytes.Buffer 地址到调用栈,在 Reader 接口变量中存储会造成一次逃逸。现在我们知道使用接口变量是需要开销的:分配和重定向。所以,如果没有很明显的使用接口的原因,你可能不想使用接口。

为了避免这个问题,现在使用input自身的read函数

func algOne(data []byte, find []byte, repl []byte, output *bytes.Buffer) {

    // 使用一个字节流来处理
    input := bytes.NewBuffer(data)

    // 我们想要替换的字节内容长度
    size := len(find)

    //用来判断的窗口
    buf := make([]byte, size)
    end := size - 1

    // 先从input中读出,填满窗口
    if n, err := input.Read(buf[:end]); err != nil {
        output.Write(buf[:n])
        return
    }

    for {

        // 一次读一个(等于窗口右移)
        if _, err := input.Read(buf[:end]); err != nil {
            output.Write(buf[:end])
            return
        }

        // If we have a match, replace the bytes.
        if bytes.Compare(buf, find) == 0 {
            output.Write(repl)
            // Read a new initial number of bytes.
            if n, err := input.Read(buf[:end]); err != nil {
                output.Write(buf[:n])
                return
            }

            continue
        }

        // Write the front byte since it has been compared.
        output.WriteByte(buf[0])

        // Slice that front byte out.
        copy(buf, buf[1:])
    }
}  

并且再次测试

D:\GoProject\GoStudy\mem>go test -run none -bench AlgorithmOne -benchtime 3s -benchmem -memprofile mem.out
goos: windows
goarch: amd64
BenchmarkAlgorithmOne-8          5362116               717 ns/op               5 B/op          1 allocs/op
PASS

可以看到从3451ns直接降到了717ns

解决了这个问题,我们现在可以关注 buf 切片数组。如果再次使用测试代码生成分析数据,我们应该能够识别到造成剩下的分配的原因。

.\demo1.go:48:13: make([]byte, size) escapes to heap:
.\demo1.go:48:13:   flow: {heap} = &{storage for make([]byte, size)}:
.\demo1.go:48:13:     from make([]byte, size) (non-constant size) at .\demo1.go:48:13

non-constant size告诉我们这是动态类型的逃逸,给slice赋值时,编译时,size的大小是不确定的。
为了验证,将大小直接设置为常量5,然后再次运行压力测试

D:\GoProject\GoStudy\mem>go test -run none -bench AlgorithmOne -benchtime 3s -benchmem -memprofile mem.out
goos: windows
goarch: amd64
BenchmarkAlgorithmOne-8          6599544               613 ns/op               0 B/op          0 allocs/op
PASS

这次从713ns降低到了613ns证明我们的分析是正确的。

结论

Go 拥有一些神奇的工具使你能了解编译器作出的跟逃逸分析相关的一些决定。基于这些信息,你可以通过重构代码使得值存在于栈中而不需要在(被重新分配到)堆中。你不是想去掉所有软件中所有的内存(再)分配,而是想最小化这些分配。

这就是说,写程序时永远不要把性能作为第一优先级,因为你并不想(在写程序时)一直猜测性能。写正确的代码才是你第一优先级。这意味着,我们首先要关注的是完整性、可读性和简单性。一旦有了可以运行的程序,才需要确定程序是否足够快。假如程序不够快,那么使用语言提供的工具来查找和解决性能问题。

参考:

Go 语言机制之栈与指针
Go 语言机制之逃逸分析
Go 语言机制之内存剖析

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,142评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,298评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,068评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,081评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,099评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,071评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,990评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,832评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,274评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,488评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,649评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,378评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,979评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,625评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,643评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,545评论 2 352

推荐阅读更多精彩内容