golang 1.9 新特性预览:Logging, interfaces, and allocation

该文翻译自:http://commaok.xyz/post/interface-allocs/

几个星期前,Peter Bourgon在golang-dev开了一个关于标准化日志记录的帖子。 日志很常用,因此性能很快提升。 go-kit日志包使用结构化日志,接口如下:

typeLoggerinterface {

Log(keyvals ...interface{}) error

}

调用代码:

logger.Log("transport","HTTP","addr", addr,"msg","listening")

请注意,进入日志调用的所有内容都将转换为interface{}。 这意味着它分配了不少内存。

与另一个结构化日志库zap进行比较。 Zap为了避免内存分配和interface{}使用,导致了更丑的API:

logger.Info("Failed to fetch URL.",

zap.String("url", url),

zap.Int("attempt", tryNum),

zap.Duration("backoff", sleepFor),

)

logger.Info的参数是logger.Field。 logger.Field是一种union-ish结构,包括一个string,一个int和一个interface{}。 因此,接口不必用来传递最常见的值。

关于logging先讨论到这里。接下来讨论为什么将具体值转换为interface{}时有内存分配?

interface{}表示为一个类型指针和一个值指针。 Russ Cox写了一篇文章解释这个问题。

他的文章稍微有些过时了。但是他指出了一个优化方式:当值小于等于指针大小时,我们可以将值直接放入第二个字段。 然而,随着并发垃圾收集的出现,该优化被取消了。 现在接口中的第二个字段总是一个指针。

考虑如下代码:

fmt.Println(1)

在Go 1.4之前,这段代码没有内存分配,因为值1可以直接放入第二个字段。

也就是说,编译器这样处理:

fmt.Println({int,1})

其中{typ,val}表示接口中的两个字段。

从Go 1.4开始,这个代码开始分配内存,因为1不是指针,第二个字必须包含一个指针。 所以,编译器+运行时这样处理:

i:=new(int)// allocates!

*i=1fmt.Println({int, i})

优化内存分配的第一点是确保当生成的接口没有逃逸。 在这种情况下,临时值可以放在栈上而不是堆上。 使用我们上面的示例代码:

i :=new(int)// now doesn't allocate, as long as e doesn't escape*i =1vareinterface{} = {int, i}// do things with e that don't make it escape

不幸的是,许多interface{}都会逃逸,包括在调用fmt.Println和我们上面的日志示例中使用的interface{}。

幸运的是,Go 1.9将带来更多的优化,部分优化受logging的启发。

第一个优化是不再将常量转换为接口。 所以fmt.Println(1)将不再分配内存。 编译器将值1放在只读全局变量中,大致如下:

variint =1// at the top level, marked as readonly

fmt.Println({int, &i})

因为常量是不可变的,所以每次接口转换都会获得相同的值,包括递归和并发调用。

这是由loggin直接启发的。 在结构化日志中,许多参数是常量。 go-kit例子:

logger.Log("transport","HTTP","addr", addr,"msg","listening")

此代码将从6次内存分配减少到1次,因为其中五个参数是常量字符串。

第二个新的优化是不将bool和byte转换为接口。 这种优化的工作原理是添加一个名为staticbytes的全局[256]字节数组,其中所有b的staticbytes [b] = b。 当编译器想要将bool或uint8或其他单字节值放入接口时,它会使用一个指向该数组的指针代替。 那是:

var staticbytes [256]byte = {0,1,2,3,4,5, ...}

i := uint8(1)

fmt.Println({int, &staticbytes[i]})

第三个新的优化建议仍在review,这个优化是转换常见的零值优化。 它适用于整数,浮点数,字符串和切片。 此优化通过在运行时检查值是否为0(或“”或nil)工作。 如果是零值,它使用指向现有的大块零内存的指针,而不是分配一些内存并将其置零。

如果一切顺利,Go 1.9应该在接口转换期间消除相当数量的内存分配。但它不会消除所有的内存分配,这使得仍然存在以上讨论的性能问题。

选择API需要考虑性能。这也是为什么io.Reader要求/允许调用者使用自己的缓冲区。

性能在很大程度上是设计实现的结果。我们已经看到在这篇文章中,接口的实现细节可以大大改善内存分配。

很多设计和实现决策取决于人们写什么样的代码。编译器和运行时的作者想要优化实际的,通用的代码。例如,在Go 1.4中,决定将接口值保持在两个字而不是将它们改为三个,这使得调用fmt.Println(1)分配额外内存。

由于人们编写的代码通常被他们使用的API塑造,所以这是一种有机的反馈循环,这也是有趣的,有挑战性的管理。

如果你设计一个API,并担心性能问题,不要忘记现有的编译器和运行时实际做了什么或者他们可以做什么。编写当下的代码,但设计未来的API。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,372评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,368评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,415评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,157评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,171评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,125评论 1 297
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,028评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,887评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,310评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,533评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,690评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,411评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,004评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,659评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,812评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,693评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,577评论 2 353

推荐阅读更多精彩内容

  • 1. Java基础部分 基础部分的顺序:基本语法,类相关的语法,内部类的语法,继承相关的语法,异常的语法,线程的语...
    子非鱼_t_阅读 31,622评论 18 399
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,651评论 18 139
  • 小编费力收集:给你想要的面试集合 1.C++或Java中的异常处理机制的简单原理和应用。 当JAVA程序违反了JA...
    八爷君阅读 4,587评论 1 114
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 172,071评论 25 707
  • 我所在的是一个三线城市的小县城,我中学时代穿的基本上是森马,潮流前线。美邦没穿过,但是店里很火。潮流前线的牛仔裤质...
    古院杂谈阅读 2,654评论 0 0