集群突然出现了多处服务响应耗时长,网关日志查到了几万条504记录
看下日志截图:
由于这个服务出了问题,已经蔓延到其它服务也响应超时了(服务雪崩)。网关的物理机显示TCP连接已经去到了3W+了。
这个问题服务是需要对外网有http的请求。
第一时间,我把超时从2S,改到500ms,效果不佳。网关不支持熔断(被逼当天晚上紧急上线熔断功能)。
只能降级处理了,把服务拿掉。先降低影响范围。
当天晚上申请了6台机器。新规划了:外部网络节点
也就是现在区域有:网关型、CPU密集型、大内存型、普通型、外网型
如果服务不需要外网,则不要在这个区域中放服务。以此做隔离。
上图看下现在SF集群的情况: