JVM OOM 排查

1、jdk 自带基础工具

2、MAT 分析dump

3、VM 实时监控

4 、遇到过OOM


内存溢出有哪些

1、Java堆溢出 (java.lang.OutofMemoryError:Java heap space)

2、PermGen space

3、StackOverflowError(虚拟机在扩展栈时无法申请到足够的内存空间)

4、直接崩溃


内存溢出与泄漏

内存溢出 out of memory:

是指程序在申请内存时,没有足够的内存空间供其使用,出现out of memory;

内存泄露 memory leak,

是指程序在申请内存后,无法释放已申请的内存空间,一次内存泄露危害可以忽略,但内存泄露堆积后果很严重,无论多少内存,迟早会被占光

一、jdk 自带基础工具


1、  jps(Java Virtual Machine Process Status Tool) 

实际中这是最常用的命令,下面要介绍的小工具更多的都是先要使用jps查看出当前有哪些Java进程,获取该Java进程的id后再对该进程进行处理。

jps  [options]  [hostid]

-q 不输出类名、Jar名和传入main方法的参数
-m 输出传入main方法的参数
-l 输出main类或Jar的全限名
-v 输出传入JVM的参数

[root@iZbp11b3erzreb4xi5utvzZ /]# jps -ml

22611 /usr/lib/jenkins/jenkins.war --logfile=/var/log/jenkins/jenkins.log --webroot=/var/cache/jenkins/war 740 org.apache.catalina.startup.Bootstrap start19942 org.apache.zookeeper.server.quorum.QuorumPeerMain /mnt/zk/zookeeper-3.4.13/bin/../conf/zoo.cfg20537 sun.tools.jps.Jps -ml11309 org.sonatype.nexus.bootstrap.jsw.JswLauncher ./conf/jetty.xml ./conf/jetty-requestlog.xml32190 org.apache.catalina.startup.Bootstrap start


2、 jstack

    jstack 主要用来查看某个Java进程内的线程堆栈信息。语法格式如下:


jstack  [option]  pid

jstack [option]  executable core

jstack   [option]   [server-id@]remote-hostname-or-ip

pid: java应用程序的进程号,一般可以通过jps来获得;

executable:产生core dump的java可执行程序($JAVA_HOME/bin/java);

core:打印出的core文件;(jvm崩溃产生的core文件,从hs_err_pid log file 查看)

emote-hostname-or-ip:远程debug服务器的名称或IP

server-id: 唯一id,假如一台主机上多个远程debug服务;

option 说明如下:

-l,会打印出额外的锁信息,在发生死锁时可以用jstack -l pid来观察锁持有情况

-m 不仅会输出Java堆栈信息,还会输出C/C++堆栈信息(比如Native方法)


jstack -l  pid 



查看耗时线程

top -Hp pid 

printf "%x\n" 21226

获取耗时线程id 的十六进制

52ec


获取耗时信息

[root@2 logs]# jstack 21222 | grep 52ec

 "GC task thread#3 (ParallelGC)" os_prio=0 tid=0x00007fee24027000 nid=0x52ec runnable 


3、jmap(Memory Map)

     jmap导出堆内存,然后使用jhat来进行分析


jmap [option] pid
jmap [option] executable core
jmap [option] [server-id@]remote-hostname-or-ip


参数如下:

-heap:打印jvm heap的情况
-histo:打印jvm heap的直方图。其输出信息包括类名,对象数量,对象占用大小。

-histo:live :同上,但是只打印存活对象的情况

-permstat:打印permanent generation heap情况(持久代)

输出 类加载器名称、对象是否存活、对象地址、父类加载器、已加载的类大小等信息

-dump:<dump-options>    打印 dump(内存使用) 日志文件



jmap -heap pid

查看进程堆内存使用情况:包括使用的GC算法、堆配置参数和各代中堆内存使用


[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -heap 32326

Attaching to process ID 32326, please wait...

Debugger attached successfully.

Server compiler detected.

JVM version is 25.161-b12

using thread-local object allocation.

Parallel GC with 4 thread(s)

Heap Configuration:

  MinHeapFreeRatio        = 0

  MaxHeapFreeRatio        = 100

  MaxHeapSize              = 536870912 (512.0MB)

  NewSize                  = 201326592 (192.0MB)

  MaxNewSize              = 201326592 (192.0MB)

  OldSize                  = 335544320 (320.0MB)

  NewRatio                = 2

  SurvivorRatio            = 8

  MetaspaceSize            = 21807104 (20.796875MB)

  CompressedClassSpaceSize = 1073741824 (1024.0MB)

  MaxMetaspaceSize        = 17592186044415 MB

  G1HeapRegionSize        = 0 (0.0MB)

Heap Usage:

PS Young Generation

Eden Space:

  capacity = 121634816 (116.0MB)

  used    = 105409240 (100.52608489990234MB)

  free    = 16225576 (15.473915100097656MB)

  86.6604180171572% used

From Space:

  capacity = 38797312 (37.0MB)

  used    = 6225208 (5.936820983886719MB)

  free    = 32572104 (31.06317901611328MB)

  16.045462118612754% used

To Space:

  capacity = 39845888 (38.0MB)

  used    = 0 (0.0MB)

  free    = 39845888 (38.0MB)

  0.0% used

PS Old Generation

  capacity = 335544320 (320.0MB)

  used    = 19401584 (18.502792358398438MB)

  free    = 316142736 (301.49720764160156MB)

  5.782122611999512% used

19968 interned Strings occupying 2526840 bytes.


jmap -histo[:live] pid

查看堆内存中的对象数目、大小统计直方图,如果带上live则只统计活对象


[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -histo 32326

num    #instances        #bytes  class name

----------------------------------------------

  1:        351157      49044840  [C

  2:        140145      26768472  [B

  3:        30637      18927560  [I

  4:        191987        4607688  java.lang.String

  5:        46693        3523560  [Ljava.lang.Object;

  6:        27813        2447544  java.lang.reflect.Method

  7:        30591        2447048  [S

  8:        58522        2340880  java.util.TreeMap$Entry

  9:        81040        1683096  [Ljava.lang.Class;

  10:        38542        1541680  java.util.HashMap$KeyIterator

  11:        44546        1069104  java.lang.StringBuilder

  12:        18696        1046976  java.util.concurrent.ConcurrentHashMap$KeyIterator

  13:        37638        903312  java.util.Collections$UnmodifiableCollection$1

  14:        10197        896216  [Ljava.util.HashMap$Node;

  15:          7902        879416  java.lang.Class


class name是对象类型,说明如下: 

B byte

C char

D double

F float

I int

J long

Z boolean

[ 数组,如[I表示int[]

[L+类名 其他对象


jmap -dump:format=b,file=dumpFileName pid

[root@iZbp11b3erzreb4xi5utvzZ ~]# jmap -dump:format=b,file=/mnt/d.bat 32326

Dumping heap to /mnt/d.bat ...

Heap dump file created

问题:

这些工具真靠谱吗?

大应用异常下 直接使用jmap jstack 根本无法加载内存信息或者耗时很久?

有什么可以替代吗?

gcore?



二、MAT 分析Dump

Dump 是什么

Dump是反应Java堆使用情况的内存镜像,其中主要包括系统信息、虚拟机属性、完整的线程Dump、所有类和对象的状态等。 一般,在内存不足、GC异常等情况下,我们就会怀疑有内存泄漏。这个时候我们就可以制作堆Dump来查看具体情况。分析原因。

Dump 文件的分析有多种方式

      1、命令jhat 分析(麻烦)

      2、VisualVM 工具分析 

      3、MAT 分析


MAT分析

J2SE中提供了一个简单的命令行工具来对java程序的cpu和heap进行 profiling(剖析面),叫做HPROF


Shallow Size 

对象自身占用的内存大小,不包括它引用的对象。 

针对非数组类型的对象,它的大小就是对象与它所有的成员变量大小的总和。当然这里面还会包括一些java语言特性的数据存储单元。 

针对数组类型的对象,它的大小是数组元素对象的大小总和。 

Retained Size 

Retained Size=当前对象大小+当前对象可直接或间接引用到的对象的大小总和。(间接引用的含义:A->B->C, C就是间接引用) 

换句话说,Retained Size就是当前对象被GC后,从Heap上总共能释放掉的内存。 

不过,释放的时候还要排除被GC Roots直接或间接引用的对象。他们暂时不会被被当做Garbage。 

List objects --> with outgoing references 

:查看当前对象持有的外部对象引用(在对象关系图中为从当前对象指向外的箭头)

List objects --> with incoming references 

:查看当前对象被哪些外部对象所引用(在对象关系图中为指向当前对象的箭头)


三、VM 实时监控

四、遇到过OOM

   1、刚开始用eclipse 开发 ,没事就本地OOM

   2、DateForm oom

   3、POI 导出xls 包含图片

   4、万恶的死循环

   5、hashmap

   6、websocket 大内存长久占用


事故:

   1、遇到fullgc 了,oom了?完蛋

   2、抓不出来dump ?完蛋

   3、jmap、jstack 都用不了?完蛋



1、记录时间点

2、抓住一切日志可用日志(应用日志)

3、慢慢分析



参考

GC:https://www.cnblogs.com/wozixiaoyao/p/5658950.html

jstack:https://www.jianshu.com/p/08b816d9b34f

executable core:https://lydawen.iteye.com/blog/2215300

内存划分:https://www.cnblogs.com/haitaofeiyang/p/8392268.html

mat:http://www.cnblogs.com/trust-freedom/p/6744948.html#histogram

oom:https://mp.weixin.qq.com/s/kJe8WScwB4XcqRNE2vM7EA?

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容

  • 前言 在遇到实际性能问题时,除了关注系统性能指标。还要结合应用程序的系统的日志、堆栈信息、GClog、thread...
    Java小铺阅读 2,473评论 0 25
  • 一、top(Linux命令) 执行top命令: (查看进程15477的详细情况,下文用到) 系统信息(前五行): ...
    java菜阅读 1,137评论 0 1
  • 注:最近一直想出一篇介绍JVM底层函数调用的博客,奈何越写越多,现在还没写完,先来个简单的安慰下我受伤的心灵 滴滴...
    miaoLoveCode阅读 4,177评论 10 47
  • jstack-- 如果java程序崩溃生成core文件,jstack工具可以用来获得core文件的java sta...
    not_null阅读 7,946评论 2 62
  • 以下是Java自带的性能监控工具 必要时我们需要抓取Java全内存的Dump来分析,抓取方式有如下: | jhat...
    jackcooper阅读 922评论 2 10