公司的网站在一次重启后突然变的诡异起来.
首先php-fpm的进程数会诡异的上升,最后达到max_children 然后系统502,监控显示 cpu 内存 网络 磁盘 都是很正常的,tcp连接出现诡异的上升,导致系统会异常的卡顿
pm.max_children =
pm.start_servers =
pm.min_spare_servers =
pm.max_spare_servers =
pm.max_requests =
这几个参数 无论怎么设置 fpm的进程数都会缓慢 或者快速上升 最终导致502
然后我观察了php的错误日志
发现redis呈现一个诡异的连接异常, 我们使用的是阿里云的redis服务,我提工单给阿里云 但是得到的答案是没有异常
事情陷入了僵局,我似乎只能通过不断的重启php-fpm来解决这个问题
然后领导主张把两个不同的业务的redis分离
然后过了一天 领导跟我说,阿里云的redis报警说使用率超过95%了,我登上去一看发现没有超过30% 这是怎么回事呢,我又向阿里云发出工单,得到的回复是(其中一个节点爆掉了),我一看 我们使用的是4G4节点的redis 每个节点1G 原来是这个原因 把其换成4G2节点 就解决了这个问题
总结这次php-fpm过多的原因:阿里云的redis产品使用错误导致redis异常,进一步影响php-fpm,然后影响tcp链接,然后就会让系统卡顿
