昨天运行的系统突然重启了,去看了下监控,发现有个后端实例协程数是其他两个重启的2倍多,连接数和文件打开数也对重启的两个高,于是判断是不是后端服务有内存泄露或者协程泄露。
原始的后端容器因为追求镜像的轻量级,没有装任何包管理工具,也没有go环境,没有办法直接在实例上直接通过pprof分析,并且容器网络和办公网是隔离的,也没办法通过本地host直接远程访问容器接口。于是同组的一个小伙伴给了一个建议,可以用test的容器直接访问business的容器,他们网段是通的,我们可以通过hke平台访问test容器内部,这样就可以分析了。
我豁然开朗,就一个小的变化就解决了这个问题,这就是经验,这就叫专业,看来我还有很长的路要走,要不断积累,不断充实基础才行啊。