环境:一台Dell R720服务器,8核/32G内存/1T硬盘。使用ESXi 6.0做虚拟化。然后创建一台Centos7虚拟机,划4核/16G内存
软件安装:大屏服务器DataEase2.10、java开发的MIS系统
故障现象:DataEase的web页访问正常,但自己开发的java程序web端访问时页面很“卡”,跟踪后台日志输出也很“卡”
排障过程:
1、使用top、free等命令查看系统负载很低,内存使用不到3G,CPU空闲时间99%,磁盘I/O也不高
2、进入ESXi 后台查看硬件监控,设备负载都很低
3、后台日志中也没有明显错误输出
4、检查JAVA虚拟机快照
$ ps -ef | grep java # 找到java进程id
$ jstack java-id> /tmp/dump.log # 转储java vm
$ grep http-nio /tmp/dump.log # 得到如下输出:
"http-nio-8063-exec-5" #32 daemon prio=5 os_prio=0 tid=0x00007f0db46e3000 nid=0x20f3 runnable [0x00007f0d4d6ae000]
java.lang.Thread.State: RUNNABLE
at java.net.Inet6AddressImpl.lookupAllHostAddr(Native Method)
at java.net.InetAddress$2.lookupAllHostAddr(InetAddress.java:929)
at java.net.InetAddress.getAddressesFromNameService(InetAddress.java:1324)
at java.net.InetAddress.getLocalHost(InetAddress.java:1501)
- locked <0x00000005c6276720> (a java.lang.Object)
at com.cjsa.utils.IPUtils.getIpAddr(IPUtils.java:24)
at com.cjsa.filter.UserVisitFilter.postHandle(UserVisitFilter.java:30)
分析:程序中自定义的拦截器/过滤器 UserVisitFilter.postHandle会拦截每一个web请求,然后调用工具IPUtils.getIpAddr去获取访问者的ip地址
public static InetAddress getLocalHost() throws UnknownHostException {
SecurityManager var0 = System.getSecurityManager();
try {
String var1 = impl.getLocalHostName();
if (var0 != null) {
var0.checkConnect(var1, -1);
}
if (var1.equals("localhost")) {
return impl.loopbackAddress();
} else {
InetAddress var2 = null;
synchronized(cacheLock) {
long var4 = System.currentTimeMillis();
if (cachedLocalHost != null) {
if (var4 - cacheTime < 5000L) {
var2 = cachedLocalHost;
} else {
cachedLocalHost = null;
}
}
if (var2 == null) {
InetAddress[] var6;
try {
var6 = getAddressesFromNameService(var1, (InetAddress)null);
} catch (UnknownHostException var10) {
UnknownHostException var8 = new UnknownHostException(var1 + ": " + var10.getMessage());
var8.initCause(var10);
throw var8;
}
cachedLocalHost = var6[0];
cacheTime = var4;
var2 = var6[0];
}
}
return var2;
}
} catch (SecurityException var12) {
return impl.loopbackAddress();
}
}
以上代码中,当访问者并非服务器自身(localhost)时,getLocalHost() 先获取当前机器的主机名,然后去向系统的 DNS 服务器发起反向解析查询,试图把主机名解析成 IP。注意这句: if (var4 - cacheTime < 5000L) ,这里会造成缓存 5 秒!
因为我的环境并没有DNS服务器(虽然在我的网卡中随便了一个),另外在/etc/hosts 文件中也没有对这台服务器的名称(xxx-server)作解析,这样,当执行到这个函数时,每一个 Web 请求都在这里被强行阻塞了 5 秒。
然后,按道理来说,通过其它远程终端访问时,不应该频繁触发getLocalHost()函数。所以,接下来检查一下IPUtils.getIpAddr()函数。
public static String getIpAddr(HttpServletRequest request) {
String ip = request.getHeader("x-forwarded-for");
if (StringUtils.isBlank(ip) || "unknown".equalsIgnoreCase(ip)) {
ip = request.getHeader("Proxy-Client-IP");
}
...
if (StringUtils.isNotBlank(ip)
|| ip.equals("127.0.0.1")
|| ip.equals("0:0:0:0:0:0:0:1")) {
try {
ip = InetAddress.getLocalHost().getHostAddress();
} catch (Exception e) {
e.printStackTrace();
}
}
return ip;
}
观察这一行: if (StringUtils.isNotBlank(ip) || ip.equals("127.0.0.1") 时会发现一个bug:无论只要ip取到值,它就会触发getLocalHost()函数!也就是说,实际上客户的真实ip是被丢弃了。
因此,这里的 StringUtils.isNotBlank(ip) 改为 StringUtils.isBlank(ip) 就可以了。
总结:引起java程序卡顿的原因,一是DNS配置错误,二是取ip代码bug