go性能优化

程序各种指标

是指程序中己动态分配的堆内存由于某种原因程序未释放或无法释放,造成系统内存的浪费,导致程序运行速度减慢甚至系统崩溃等严重后果。在程序中一个不小心的操作可能会导致内存泄漏,但是写程序的人可能根本没有意识到,所以我们要对我们的项目做测试,检查程序那些地方的内存没有被回收导致了内存的泄漏。
好在golang为我们提供了pprof包,通过它的HTTP服务端提供pprof可视化工具期望格式的运行时剖面文件数据服务。关于pprof的更多信息,参见http://code.google.com/p/google-perftools/

  1. 如果你的程序是web程序
  • 在没有使用任何框架的前提下,在程序中导入import _ "net/http/pprof",然后同样监听本地的一个端口http.ListenAndServe("localhost:6060", nil),即可,启动程序,你可以访问localhost:6060/debug/pprof监控页面,大致样子是:
/debug/pprof/

profiles:
    0block
    7goroutine
   86heap
    0mutex
   13threadcreate

full goroutine stack dump
  • 如果你使用了其他的go-web框架,那么也可以自己添加路由"/debug/pprof/profile,handler方法即使用net/http/pprof下的方法即可。

gin-web框架的/debug/pprof可以参考:github.com/DeanThompson/ginpprof

net/http/pprof下的方法有很多个,都是为我们提供程序运行的一些参数的,你可以在$GOROOT/src/net/http/pprof下查看。/net/http/pprof其实也只是对/runtime/pprof的一层封装而已

  1. 如果你的程序不是web程序
  • 同时也不想开一个端口来获得程序运行时的cpu,内存和其他的一些参数。那么可以直接使用/runtime/下的一些包
import  (
    "runtime/pprof"
    "log"
)
func main() {
    f, err := os.OpenFile("cpu.prof", os.O_RDWR|os.O_CREATE, 0644)
    if err != nil {
        log.Fatal(err)
    }
    defer f.Close()
    /**
      省略操作
    */
    pprof.StartCPUProfile(f)
    defer pprof.StopCPUProfile()
}

os.O_CREATE表示该文件不存在则创建,运行这个程序后就会在该目录下生成一个cpu.prof文件
现在使用go tool pprof来分析这个prof文件。

pprof分析.prof文件命令为:go tool pprof <程序名称> <.prof文件路径>

然后进入pprof的控制台,输入help会得到一些常用命令,如top 10。
更多命令以及其中的含义可以参见:go tool pprof

进一步分析(svg)

安装FlameGraph

git clone https://github.com/brendangregg/FlameGraph.git
cp FlameGraph/flamegraph.pl /usr/local/bin
然后执行命令flamegraph.pl -h查看是否有help信息表明是否安装成功

web浏览

假设现在已经启动了一个web程序,然后我们开一个终端用命令go tool pprof --seconds 25 http://localhost:8080/debug/pprof/profile设置采样时间和路径,再开一个终端用wrk压测工具:压测30s,其他参数自定义。等到时间结束后,在第一个终端那里会出现(pprof),这和之前分析.prof文件效果是一样的,不同的是这里没有生成文件。然后我们输入命令web——表示用web浏览器打开。如果出现如下提示

Failed to execute dot. Is Graphviz installed? Error: exec: "dot": executable file not found in$PATH

此时可用如下命令安装Graphviz

sudo apt install graphviz

然后再次输入web,那么会在web页面看到

Screenshot from 2017-10-25 21-53-44.png

这是一个很简单程序生成的svg图都这么多内容,难以想象一个复杂的程序读这样的图时该从哪个地方下手,找出部分函数的cpu使用超标,内存使用超标来进行性能的优化。

更加直观的火焰图go-torch

go-torch是Uber开发的一个工具,它的github地址

go get github.com/uber/go-torch
go install github.com/uber/go-torch
即可完成go-torch的安装

  • 现在打开一个终端,运行go-torch
  • 另开一个终端,再次使用wrk压测工具压测30s等到时间结束之后,大致可以在go-torch的目录下看到这样的信息

INFO[21:37:37] Run pprof command: go tool pprof -raw -seconds 30 http://localhost:8080/debug/pprof/profile
INFO[21:38:08] Writing svg to torch.svg

对于这个torch.svg,使用浏览器打开,效果如下:

Screenshot from 2017-10-25 21-47-58.png
  • 每一个小方块都是可以点击查看详细信息
  • y轴表示cpu调用方法的先后
  • x轴表示在每个采样调用时间内,方法所占的时间百分比,越宽代表占据cpu时间越多。

trace

前面讲的pprof适合于跟踪运行缓慢的函数,或者找到大部分CPU时间花费在哪里,并且显示在每个函数中花费的CPU时间的百分比;而trace则更适合于找出程序在一段时间内正在做什么,而不是总体上的开销。

func main() {
    f, err := os.Create("trace.out")
    if err != nil {
        panic(err)
    }
    defer f.Close()
    err = trace.Start(f)
    if err != nil {
        panic(err)
    }
    defer trace.Stop()
    //每10s执行一次GC
    t1 := time.NewTicker(time.Second * 10)
    go func() {
        for {
            select {
            case <-t1.C:
                log.Println("runtime.gc()")
                runtime.GC()
            }
        }
    }()

    // Your logic code here
}
  1. 这是代码的一部分,当程序运行起来之后,每隔10s就会向trace.out中写入gc的信息。
  • 如果你想在控制台看到gc的信息,可以运行如下命令

go build yourProgram
GODEBUG=gctrace=1 ./yourProgram

控制台打印信息类似于

gc 1 @10.003s 0%: 0.086+1.2+0.026 ms clock, 0.25+0/1.2/0+0.078 ms cpu, 1->1->0 MB, 4 MB goal, 4 P (forced)
gc 2 @20.003s 0%: 0.061+0.44+0.016 ms clock, 0.18+0/0.42/0.41+0.050 ms cpu, 0->0->0 MB, 4 MB goal, 4 P (forced)
scvg0: inuse: 1, idle: 1, sys: 2, released: 0, consumed: 2 (MB)

控制台打印信息的说明

  1. gc后面的数字表示第几次执行gc
  2. 0%表示表示垃圾回收时间占用的百分比
  3. 0.086+1.2+0.026ms clock表示垃圾回收的时间。分别为STW(stop-the-world)清扫的时间, 并发标记和扫描的时间,STW标记的时间
  4. 0.25+0/1.2/0+0.078 ms cpu表示垃圾回收占用cpu时间
  5. 1->1->0 MB表示堆的大小,gc后堆的大小,存活堆的大小
  6. 4 MB goal表示整体堆的大小
  7. 4 P表示处理器的数量
  8. 系统内存回收信息
    scvg0: inuse: 1, idle: 1, sys: 2, released: 0, consumed: 2 (MB)
    inuse:使用多少M内存
    idle:剩下要清除的内存
    sys:系统映射的内存
    released:释放的系统内存
    consumed:申请的系统内存
  • 或者使用go tool trace分析trace.out文件,看看gc更加详细的情况

go tool trace -http="localhost:8888" <yourProgramName> trace.out

该命令在go1.6以下的版本中需要<yourProgramName>参数,即可运行的二进制文件,在go1.6之后的版本则不再需要这个参数。
现在你可以访问localhost:8888看看trace文件中都记录了什么内容,访问localhost:8888/trace即可看到更详细的信息。

  1. 上述代码是直接在程序中生成trace.out二进制文件,如果你为trace开通了http服务,那么直接运行如下命令可进行10s的采样数据
    curl 127.0.0.1:port/debug/pprof/trace?seconds=10 trace.data
    如果提示curl(6)错误,那么你可以直接在浏览器访问localhost:port/debug/pprof/trace?seconds=10也会得到相应的采样数据,获得采样数据之后可以利用上述步骤分析trace文件
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,948评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,371评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,490评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,521评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,627评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,842评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,997评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,741评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,203评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,339评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,955评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2 349

推荐阅读更多精彩内容

  • 转自:http://lihaoquan.me/2017/1/1/Profiling-and-Optimizing-...
    鲸息_Leon阅读 7,685评论 0 11
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,633评论 18 139
  • 对于一些初学者,自知道 Go 里面的 array 以 pass-by-value 方式传递后,就莫名地引起 “恐慌...
    qyuhen阅读 1,035评论 0 2
  • 闭包(closure)也是很常见的编码模式,因它隐式携带上下文环境变量,因此可让算法代码变得更加简洁。 但任何 “...
    qyuhen阅读 612评论 0 4
  • 酸味是童年的回忆, 辣味意味人生不可处处尽人意, 苦味将有甘甜的来遇, 咸味似血汗泪的汇聚, 甜味是酸辣苦咸的回报...
    李丕润小星星阅读 346评论 0 0