logback 死锁问题

遇到生产环境锁死的问题,nginx 出现大量的 502。以前也偶尔出现,都是快速重启恢复服务。今天又出现了,抓了下日志,发现居然是 logback 锁死的,坑爹。


[root@host ~]# grep 0x000000008683cf68 catalina.out.bak
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - locked <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        - waiting to lock <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)

实际锁死线程:


"http-nio-8080-exec-188" #671375 daemon prio=5 os_prio=0 tid=0x00007ff239512000 nid=0x7519 runnable [0x00007ff18ceae000]
   java.lang.Thread.State: RUNNABLE
        at java.util.Arrays.copyOf(Arrays.java:3181)
        at java.text.DateFormatSymbols.copyMembers(DateFormatSymbols.java:850)
        at java.text.DateFormatSymbols.initializeData(DateFormatSymbols.java:758)
        at java.text.DateFormatSymbols.<init>(DateFormatSymbols.java:145)
        at sun.util.locale.provider.DateFormatSymbolsProviderImpl.getInstance(DateFormatSymbolsProviderImpl.java:85)
        at java.text.DateFormatSymbols.getProviderInstance(DateFormatSymbols.java:364)
        at java.text.DateFormatSymbols.getInstance(DateFormatSymbols.java:340)
        at java.util.Calendar.getDisplayName(Calendar.java:2110)
        at java.text.SimpleDateFormat.subFormat(SimpleDateFormat.java:1125)
        at java.text.SimpleDateFormat.format(SimpleDateFormat.java:966)
        at java.text.SimpleDateFormat.format(SimpleDateFormat.java:936)
        at java.text.DateFormat.format(DateFormat.java:345)
        at ch.qos.logback.core.util.CachingDateFormatter.format(CachingDateFormatter.java:48)
        - locked <0x000000008683cf68> (a ch.qos.logback.core.util.CachingDateFormatter)
        at ch.qos.logback.classic.pattern.DateConverter.convert(DateConverter.java:61)
        at ch.qos.logback.classic.pattern.DateConverter.convert(DateConverter.java:23)
        at ch.qos.logback.core.pattern.FormattingConverter.write(FormattingConverter.java:36)
        at ch.qos.logback.core.pattern.PatternLayoutBase.writeLoopOnConverters(PatternLayoutBase.java:115)
        at ch.qos.logback.classic.PatternLayout.doLayout(PatternLayout.java:141)
        at ch.qos.logback.classic.PatternLayout.doLayout(PatternLayout.java:39)
        at ch.qos.logback.core.encoder.LayoutWrappingEncoder.encode(LayoutWrappingEncoder.java:115)
        at ch.qos.logback.core.OutputStreamAppender.subAppend(OutputStreamAppender.java:230)
        at ch.qos.logback.core.rolling.RollingFileAppender.subAppend(RollingFileAppender.java:235)
        at ch.qos.logback.core.OutputStreamAppender.append(OutputStreamAppender.java:102)
        at ch.qos.logback.core.UnsynchronizedAppenderBase.doAppend(UnsynchronizedAppenderBase.java:84)
        at ch.qos.logback.core.spi.AppenderAttachableImpl.appendLoopOnAppenders(AppenderAttachableImpl.java:51)
        at ch.qos.logback.classic.Logger.appendLoopOnAppenders(Logger.java:270)
        at ch.qos.logback.classic.Logger.callAppenders(Logger.java:257)
        at ch.qos.logback.classic.Logger.buildLoggingEventAndAppend(Logger.java:421)
        at ch.qos.logback.classic.Logger.filterAndLog_2(Logger.java:414)
        at ch.qos.logback.classic.Logger.warn(Logger.java:700)
        at com.xxx.common.cache.Cache.cancel(Cache.java:140)
        at com.xxx.common.cache.Cache.schedule(Cache.java:84)
        at com.xxx.common.cache.Cache.expireIn(Cache.java:238)
        at com.xxx.common.cache.Cache.setObject(Cache.java:216)
        at com.xxx.platform.cache.CacheManager.setObject(CacheManager.java:66)
        at com.xxx.platform.session.SessionUtil.setUserInfo(SessionUtil.java:415)
        at com.xxx.platform.session.SessionUtil.setUserInfo(SessionUtil.java:356)
        at com.xxx.platform.session.SessionUtil.setUserInfo(SessionUtil.java:340)
        at com.xxx.platform.interceptor.ServletInterceptor.increaseActivities(ServletInterceptor.java:128)
        at com.xxx.platform.interceptor.ServletInterceptor.before(ServletInterceptor.java:57)
        at com.xxx.web.ActionServlet.__do_service__(ActionServlet.java:321)
        at com.xxx.web.ActionServlet.service(ActionServlet.java:287)

logback作者说1.2.x已经解决死锁的问题了,然而我们用的是1.2.3,貌似并没有解决,照样锁死。具体原因是什么,暂时不知道,先记录一下问题。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,463评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,868评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,213评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,666评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,759评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,725评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,716评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,484评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,928评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,233评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,393评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,073评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,718评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,308评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,538评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,338评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,260评论 2 352

推荐阅读更多精彩内容

  • 在Java多线程开发中死锁问题并不少见,当线程间相互等待资源,而又不释放自身的资源时就会导致无穷无尽的等待。 举一...
    猫清扬阅读 459评论 0 0
  • 记得以前看过一个笑话:面试官问死锁怎么回事儿?我想了想,然后回答面试官说你先发offer给我,我再回答你。这就是现...
    From64KB阅读 316评论 0 0
  • 多线程开发避不开锁,而锁又避不开死锁问题,所以弄清楚死锁问题才能开发出好的多线程程序。 死锁出现原因与解决方法 在...
    IT乐知阅读 172评论 0 0
  • 现象 某天晚上,同事正在发布,突然线上大量报警,很多是关于数据库死锁的,报警提示信息如下: 通过报警,我们基本可以...
    小陈阿飞阅读 1,881评论 0 3
  • 如果遇到线上问题,需要从几个方面排查问题。接口成功率,响应时间,CPU、内存占用率,IO性能①如果是接口成功率为低...
    会跳的八爪鱼阅读 892评论 0 3