node内存泄露问题

node对内存泄露十分敏感,这个不同于浏览器,一旦内存堆积,垃圾回收无法释放,会耗费大量时间进行对象扫描,应用会变慢,直到进程崩溃。

v8垃圾回收机制

v8的垃圾回收策略叫分代式垃圾回收机制。怎么说呢?
这个分代,就是把内存分成两部分:新生代(new space)和老生代(old space)。
新生代中的对象为存活时间较短的对象,老生代中的对象为存活时间较长常驻内存的对象。

新生代的垃圾回收——Scavenge

Scavenge就是拾荒的意思,它将堆内存一分为二,每一部分称为半空间semispace。
在这两个semispace空间中,只有一个处于使用中,另外一个处于闲置状态。处于使用状态的semispace称为From空间,处于闲置状态的semispace称为To空间。
当我们分配对象时,先是从From空间中分配。当From空间一旦满了就会进行垃圾回收,这时会检查From空间中存活的对象,把这些存活的对象复制到To空间中,而垃圾对象占用的空间会被释放掉。
完成复制后,From空间和To空间的角色会发生互换,To变From,From变To,然后重复前面的过程。
这种算法比较简单,适合比较活跃的对象,但如果某对象经历过一次Scavenge回收,下一次又继续使用,那说明这个对象存活时间较长,会将该对象复制到老生代空间里去。

老生代的垃圾回收——Mark-Sweep和Mark-Compact

Mark-Sweep就是标记清除,步骤是:
垃圾回收时,先遍历堆内存的所有对象,标记存活的对象,然后清除掉未标记的对象。
但清除完成后,内存会有很多碎片,我们需要整理一下,有点像磁盘工具,这就是Mark-Compact。
既然内存泄露问题如此重要,那如何防范呢?

监听gc垃圾回收情况

我们可以使用memwatch这个工具来监听内存的垃圾回收情况。

npm install memwatch-next -S

下面做一个测试。
在arr这个数组中无限注入回调函数,导致arr这个变量始终无法释放,这个对象会常驻于老生代空间中,运行几次后必然会导致溢出现象。

let http = require('http')
let memwatch = require('memwatch-next')
let count = 1
let arr = []
memwatch.gc()//测试:手动调用垃圾回收
memwatch.on('leak',(info)=>{
    console.log(info) //5次以上
})
memwatch.on('stats',(stats)=>{
//每执行一次 gc,触发该事件,并打印内存相关信息。
    console.log(count++,'=>',stats)
})

let server = http.createServer((req,res)=>{
//内存泄露事件,触发该事件的条件是:连续5次gc垃圾回收后,内存还是增长的
    for(let i=0;i<100000;i++){
       arr.push(function(){})
    }
    res.end('ok')
})
server.listen(3009)

stats事件的打印结果:

{ num_full_gc: 6,//完整的垃圾回收次数
  num_inc_gc: 16,//增长的垃圾回收次数
  heap_compactions: 6,//内存压缩次数
  usage_trend: 0,//使用趋势
  estimated_base: 54914256,//预期基数
  current_base: 54914256,//当前基数
  min: 12826192,
  max: 54914256 }

leak事件的打印结果:

{ growth: 67250808,
  reason: 'heap growth over 5 consecutive GCs (10s) - -2147483648 bytes/hr' 
}

我们可以利用log4j或其他日志工具,将这些堆栈信息输出到日志里以便分析。

堆内存快照

通过memwatch可以知晓内存是否有泄露,那如何定位到具体问题呢?
我们可以用另外一个工具——heapdump。

npm install heapdump -S

这个工具可以抓取堆快照,并保存为json的格式,我们可以将快照文件用chrome浏览器的devtools打开,选择comparison比较视图来定位问题。

let http = require('http')
let memwatch = require('memwatch-next')
let heapdump = require('heapdump')
let count = 1

let arr = []
dump()//无任何操作,拍第一个堆快照,作为参照系
function dump() {
    //文件名
    const filename = `${__dirname}/heapdump-${process.pid}-${Date.now()}.heapsnapshot`;

    heapdump.writeSnapshot(filename, () => {//保存快照
        console.log(`${filename} dump completed.`);
    });
}

memwatch.on('leak',(info)=>{
    console.log(info)
    dump()//第二个快照,对比第一个快照
})
memwatch.on('stats',(stats)=>{
    console.log(count++,'=>',stats)

})




let server = http.createServer((req,res)=>{

    for(let i=0;i<100000;i++){
       arr.push(function(){})
    }
    res.end('ok')
})
server.listen(3009)

得到快照信息:

heapdump-59352-1586653612856.heapsnapshot
heapdump-59352-1586653617974.heapsnapshot

打开控制台,选择Memory,右键profiles,选择load,即可加载本地快照文件:
compare.jpg
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,063评论 6 510
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,805评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,403评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,110评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,130评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,877评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,533评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,429评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,947评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,078评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,204评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,894评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,546评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,086评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,195评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,519评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,198评论 2 357

推荐阅读更多精彩内容

  • V8的垃圾回收机制与内存限制 V8的内存限制 在一般的后端开发语言中,在基本的内存使用上没有什么限制,然而在Nod...
    Upcccz阅读 1,431评论 1 3
  • V8内存限制 Node与其他语言不同的一个地方,就是其限制了JavaScript所能使用的内存(64位为1.4GB...
    overflow_hidden阅读 736评论 0 2
  • 原文链接:BlueSun | NodeJS中被忽略的内存 如朴灵说过,Node对内存泄露十分敏感,一旦线上应用有成...
    JC_Huang阅读 11,154评论 4 5
  • 今天看了一下关于垃圾回收的知识,来总结一下~我们知道,JavaScript之所以能在浏览器环境和NodeJS环境运...
    Yixi_Li阅读 631评论 0 1
  • 前言 我们知道,JavaScript之所以能在浏览器环境和NodeJS环境运行,都是因为有V8引擎在幕后保驾护航。...
    liuxuan阅读 488评论 1 1