一次Java程序运行缓慢故障排查过程

环境:一台Dell R720服务器,8核/32G内存/1T硬盘。使用ESXi 6.0做虚拟化。然后创建一台Centos7虚拟机,划4核/16G内存
软件安装:大屏服务器DataEase2.10、java开发的MIS系统
故障现象:DataEase的web页访问正常,但自己开发的java程序web端访问时页面很“卡”,跟踪后台日志输出也很“卡”

排障过程:
1、使用top、free等命令查看系统负载很低,内存使用不到3G,CPU空闲时间99%,磁盘I/O也不高
2、进入ESXi 后台查看硬件监控,设备负载都很低
3、后台日志中也没有明显错误输出
4、检查JAVA虚拟机快照

$ ps -ef | grep java      # 找到java进程id
$ jstack  java-id> /tmp/dump.log    # 转储java vm
$ grep http-nio  /tmp/dump.log   # 得到如下输出:

"http-nio-8063-exec-5" #32 daemon prio=5 os_prio=0 tid=0x00007f0db46e3000 nid=0x20f3 runnable [0x00007f0d4d6ae000]
java.lang.Thread.State: RUNNABLE
at java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method)
at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:929)
at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1324)
at java.net.InetAddress.getLocalHost(InetAddress.java:1501)
- locked <0x00000005c6276720> (a java.lang.Object)
at com.cjsa.utils.IPUtils.getIpAddr(IPUtils.java:24)
at com.cjsa.filter.UserVisitFilter.postHandle(UserVisitFilter.java:30)

分析:程序中自定义的拦截器/过滤器 UserVisitFilter.postHandle会拦截每一个web请求,然后调用工具IPUtils.getIpAddr去获取访问者的ip地址

public static InetAddress getLocalHost() throws UnknownHostException {
        SecurityManager var0 = System.getSecurityManager();

        try {
            String var1 = impl.getLocalHostName();
            if (var0 != null) {
                var0.checkConnect(var1, -1);
            }

            if (var1.equals("localhost")) {
                return impl.loopbackAddress();
            } else {
                InetAddress var2 = null;
                synchronized(cacheLock) {
                    long var4 = System.currentTimeMillis();
                    if (cachedLocalHost != null) {
                        if (var4 - cacheTime < 5000L) {
                            var2 = cachedLocalHost;
                        } else {
                            cachedLocalHost = null;
                        }
                    }

                    if (var2 == null) {
                        InetAddress[] var6;
                        try {
                            var6 = getAddressesFromNameService(var1, (InetAddress)null);
                        } catch (UnknownHostException var10) {
                            UnknownHostException var8 = new UnknownHostException(var1 + ": " + var10.getMessage());
                            var8.initCause(var10);
                            throw var8;
                        }

                        cachedLocalHost = var6[0];
                        cacheTime = var4;
                        var2 = var6[0];
                    }
                }

                return var2;
            }
        } catch (SecurityException var12) {
            return impl.loopbackAddress();
        }
    }

以上代码中,当访问者并非服务器自身(localhost)时,getLocalHost() 先获取当前机器的主机名,然后去向系统的 DNS 服务器发起反向解析查询,试图把主机名解析成 IP。注意这句: if (var4 - cacheTime < 5000L) ,这里会造成缓存 5 秒!
因为我的环境并没有DNS服务器(虽然在我的网卡中随便了一个),另外在/etc/hosts 文件中也没有对这台服务器的名称(xxx-server)作解析,这样,当执行到这个函数时,每一个 Web 请求都在这里被强行阻塞了 5 秒。
然后,按道理来说,通过其它远程终端访问时,不应该频繁触发getLocalHost()函数。所以,接下来检查一下IPUtils.getIpAddr()函数。

public static String getIpAddr(HttpServletRequest request) {
        String ip = request.getHeader("x-forwarded-for");
        if (StringUtils.isBlank(ip) || "unknown".equalsIgnoreCase(ip)) {
            ip = request.getHeader("Proxy-Client-IP");
        }
        ...
        if (StringUtils.isNotBlank(ip)
                || ip.equals("127.0.0.1")
                || ip.equals("0:0:0:0:0:0:0:1")) {
            try {
                ip = InetAddress.getLocalHost().getHostAddress();
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        return ip;
    }   

观察这一行: if (StringUtils.isNotBlank(ip) || ip.equals("127.0.0.1") 时会发现一个bug:无论只要ip取到值,它就会触发getLocalHost()函数!也就是说,实际上客户的真实ip是被丢弃了。
因此,这里的 StringUtils.isNotBlank(ip) 改为 StringUtils.isBlank(ip) 就可以了。

总结:引起java程序卡顿的原因,一是DNS配置错误,二是取ip代码bug

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容