背景
在上一次优化K8s watch长连接中Okhttp的坑过后，几个月没出现啥问题了
可是后来又开始出现这个异常情况，表现仍然是watch不更新数据了，也不重连了
现象
几次Watch出问题的时候对应master节点指标均有异常，具体表现在io很高、并且伴随有内存分配失败
image.png
因此准备在测试环境模拟产生这个主机异常
通过一番查阅后，决定同时将宿主机的io和内存打满
内存打满可以通过stress来模拟
stress --vm 20 --vm-bytes 500M --vm-keep
io打满可以通过dd命令来模拟，可以参考文档
经过多次试验，上述方式组合起来使用的时候有一定概率会出现watch不再更新的现象，具体表现是watch连接会一直处于FIN_WAIT2状态
tcp6 0 0 10.1.1.2:40890 10.1.1.1:6443 FIN_WAIT2 76179/java off (0.00/0/0)
tcp6 0 0 10.1.1.2:40874 10.1.1.1:6443 FIN_WAIT2 76179/java off (0.00/0/0)
这个状态会一直保持，直到重启进程才会重连
解决
上述链接可以看出是没有开启Tcp-Keepalive的，因此我们尝试给okhttp客户端开启Tcp-Keepalive
SocketFactory factory1 = new SocketFactory() {
@Override
public Socket createSocket() throws SocketException {
Socket socket = new Socket();
socket.setKeepAlive(true);
return socket;
}
@Override
public Socket createSocket(String s, int i) throws IOException, UnknownHostException {
Socket socket = new Socket(s, i);
socket.setKeepAlive(true);
return socket;
}
@Override
public Socket createSocket(String s, int i, InetAddress inetAddress, int i1) throws IOException, UnknownHostException {
Socket socket = new Socket(s, i, inetAddress, i1);
socket.setKeepAlive(true);
return socket;
}
@Override
public Socket createSocket(InetAddress inetAddress, int i) throws IOException {
Socket socket = new Socket(inetAddress, i);
socket.setKeepAlive(true);
return socket;
}
@Override
public Socket createSocket(InetAddress inetAddress, int i, InetAddress inetAddress1, int i1) throws IOException {
Socket socket = new Socket(inetAddress, i, inetAddress1, i1);
socket.setKeepAlive(true);
return socket;
}
};
OkHttpClient client = apiClient.getHttpClient().newBuilder().socketFactory(factory1).build();
apiClient.setHttpClient(client);
对官方的http客户端自定义一个SocketFactory ；重写所有方法，让他创建的Socket都设置上Tcp-Keepalive
经过这样设置后，多次实验，问题可以得到解决
原因分析
- 之前升级到H2之后已经有了ping线程了，为什么还是没法从异常状态中恢复过来呢？
image.png
dump出来后可以看到ping线程的和watch线程一样，也卡死了，处理不了这种情形。
- reflect线程为什么不更新了呢？
image.png
这里可以看到它一直再等待<0x00000005c51b7480> 这个锁被释放，但是这个锁被watch线程一直持有，不释放，怀疑是产生了死锁
image.png
