记一次性能优化

有那么一句名言,过早优化是万恶之源。指的就是在开发过程中,不用太早考虑性能问题,而是要优先实现功能和保持代码清晰,简洁。更深的原因,是对个人的判断的极端不信任。我们觉得重要的往往不重要,我们觉得不重要的事后才发现很重要。事前的判断,往往会错得离谱。所以,在软件工程中,就放弃了事前对可能的性能占用情况的评估,而是在实现运行中,通过软件工具,来分析性能瓶颈,即:profiling.

我最近就遇到一个profiling的情况。

最初是因为有那么一个bug。导致js后台处理进程,一小时左右,会自动退出。经过分析,我发现这是我所使用的kafka连接库产生的问题,这个问题不好修复,但是我可以使用trick绕过它。处理之后,进程不会报错退出了,但是,在运行3-4小时后,进程的处理性能会出现巨大的下降,而且内存占用会不停的增长,不停的刷新占用的上限。

很明显,这个js进程存在内存泄漏的情况。

但是内存泄漏是哪里产生的咧?

由于之前没有做过profiling,无法判断是旧有的代码就有问题,还是新加入的代码导致的。所以只能全局的去考虑。

最开始,我使用了nodejs自带的profiling工具进行过一些cpu性能分析

https://nodejs.org/en/docs/guides/simple-profiling/

后来我又找到了更直观的node-inspector

https://github.com/node-inspector/node-inspector

通过node-inspector分析,所能了解的也不多。只是看到closure,也就是闭包,有占到26%的内存,是最大的一项。

这么说,是我代码中的closure导致的内存泄漏。我又搜索了相关资料,了解了一下closure导致内存泄漏的常见形式。给我启发最大的是这么一篇:

http://point.davidglasser.net/2013/06/27/surprising-javascript-memory-leak.html

在里面提到js v8一个惊人的细节。在同一作用域定义的闭包,会共享上下文(context),经典的触发代码如下:

var str = new Array(1000000).join('*');

var doSomethingWithStr = function () {

  if (str === 'something')

    console.log("str was something");

  };

  doSomethingWithStr();

  var logIt = function () {

    console.log('interval');

  }

  setInterval(logIt, 100);

};

setInterval(run, 1000);

在这段代码中logIt和doSomethingWithStr共享上下文,引用了str,导致str不被会gc清理,从而内存泄漏。

我又看了一下代码,代码中并没有使用setInteval函数,但使用的Rxjs,Rxjs的Observable.subscribe函数会不会有和setInteval函数类似的效果。我立即写了段代码测试了一下。

var subscription = null

var sequence = null

function run() {

  var str = new Array(1000000).join('*');

  if (subscription != null) {

    subscription.dispose()

  }

var sequence = Rx.Observable.interval(200)

var subscription = sequence.subscribe(

  function() {

    console.log("str[0]=", str[0])

  })

}

setInterval(run, 500);

使用工具查看,发现这段代码会导致内存占用迅速上升,即存在内存泄漏。

经过试验后,我找到了初步的解决方案。

var subscription = null

var sequence = null

function run() {

  var str = new Array(1000000).join('*');

  if (subscription != null) {

    subscription.dispose()

  }

  var sequence = Rx.Observable.interval(200).take(3)

  var subscription = sequence.subscribe(

  function() {

    console.log("str[0]=", str[0])

  } , function(err) {

    console.log("err=", err)

  } , function(err) {

    str=null

    console.log("completed")

  } )

}

setInterval(run, 500);

即在消息流结束的时候,将str对象置为null,来防止str对象的泄漏。本以为这就是最佳方案。无意中我又发现,哪怕没有在onCompleted函数,只要流结束,也不会内存泄漏。


我觉得这个rxjs的一个bug。在dispose后,不就是应该该把要清理都清理了,是吧?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,937评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,503评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,712评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,668评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,677评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,601评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,975评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,637评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,881评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,621评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,710评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,387评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,971评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,947评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,189评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,805评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,449评论 2 342

推荐阅读更多精彩内容

  • 工厂模式类似于现实生活中的工厂可以产生大量相似的商品,去做同样的事情,实现同样的效果;这时候需要使用工厂模式。简单...
    舟渔行舟阅读 7,716评论 2 17
  • 单例模式 适用场景:可能会在场景中使用到对象,但只有一个实例,加载时并不主动创建,需要时才创建 最常见的单例模式,...
    Obeing阅读 2,054评论 1 10
  • 函数声明和函数表达式有什么区别 (*)解析器会率先读取函数声明,并使其在执行任何代码之前可以访问;函数表达式则必须...
    coolheadedY阅读 383评论 0 1
  • 一、数组 数组是一个有序列表,所以有下标. 并且数组在js中可以存在任意类型的数据.并且同一个数组中可以存放不同的...
    空谷悠阅读 503评论 0 1
  • 相关知识点 数据类型、运算、对象、function、继承、闭包、作用域、原型链、事件、RegExp、JSON、Aj...
    sandisen阅读 11,370评论 7 175