背景
服务器用了PHP Memcache扩展,但上线后频繁出现set/add失败。
测试
为了重现故障,写了一个简单脚本测试test_mc.php
,如下:
<?php
define('HOST', 'YOUR_HOST');
define('PORT', 'YOUR_PORT');
$mc = new Memcache();
$mc->connect(HOST, PORT);
while(1) {
$key = 'test' . microtime(1);
$value = 'val';
$expire = 100;
$result = $mc->set($key, $value, $expire);
if($result) {
echo date('Y-m-d H:i:s') . "\tset success" . PHP_EOL;
}else {
echo date('Y-m-d H:i:s') . "\tset fail" . PHP_EOL;
}
sleep(1);
}
执行/path/to/php test_mc.php
,结果如下:
从执行可以看出,的确会间歇出现set不成功的情况,而且"set fail"会连续出现15次。
那么问题就来了:
- 为什么会出现fail?
- 为什么每次都连续15次fail?
排查
执行strace /path/to/php test_mc.php
,分析系统调用,得到结果如下:
绿色的是执行成功的"set success",红色的是执行失败的"set fail"。
从上述信息可以看出两个问题:
- 第1次的"set fail"是因为poll timeout,超时时间是1000ms。网络问题,我们可以根据实际情况,把超时时间再设置长一点。
- 第2次~第15次就有点奇怪了,并没有发生网络请求,就直接失败了。
针对这两个问题,继续排查。
为什么fail刚好是15次?
查阅Memcache扩展的文档没有说明,那就直接看扩展源码。Memcache扩展版本是2.2.7。
源码地址:https://pecl.php.net/package/memcache
在源码里直接搜索"15",就可以找到以下的常量定义:
在mmc_open函数有这样的用法:
注:
mmc->retry_interval = MMC_DEFAULT_RETRY
那么结论就很明显了,在同一个mc连接,一旦出现了
MMC_STATUS_FAILED
(连接失败),只能在15s过后再重新连接。期间客户端的任何调用都是失败。所以就出现上面的测试结果。MMC_DEFAULT_RETRY
对单例模式和守护进程会比较麻烦。所以建议一旦发现连接失败,就调用
close()
把连接干掉。
如何设置超时时间
先看文档:http://php.net/manual/zh/memcache.connect.php
文档比较简单,
Memcache::connect()
第3个参数就是超时选项。我们把超时时间改为3s,修改如下:
<?php
...
$mc->connect(HOST, PORT, 3);
...
为了验证是否真的设置成功,执行strace /path/to/php test_mc.php
奇怪了,怎么超时还是1000ms?设置3s不生效?
会不会是个bug?于是又翻起了Memecache扩展的源代码。
Memcache::connect()
方法的实现在php_mmc_connect()
里:这里发现两个很有趣的事情:
- 超时时间其实有两个选项:
timeout
(s)和timeoutms
(ms) - 文档里
Memcache::connect()
的参数列表只列了3个参数(host, port, timeout)
,但实际上是可以接收第4个参数作为timeoutms
。
如果timeoutms
没有传(小于1),那就取默认值:default_timeout_ms
(1000)。
这段代码看起来还算比较正常,但答案还是没出来,timeout
参数明明是有读取的,为什么就是设置不成功?不急,再看看处理连接的_mmc_open()
函数:
当我看到这段代码的时候,倒吸一口凉气,心情久久不能平复。
认真看下代码,红框里的是说,如果
timeoutms
大于0,那就用它作为超时时间,否则就用timeout
。刚刚我们只传入
timeout
,那么timeoutms
就会默认赋值default_timeout_ms
(默认1000大于0)。于是timeout
就没有用了,超时永远都是取timeoutms
的1000ms。也就是说,正确的设置超时时间应该是使用第4个隐藏参数
timeoutms
(问你服了没有?):
<?php
...
$mc->connect(HOST, PORT, 3, 3000); //第三个参数"3"可以随便设,因为它都不会生效
...
再执行strace /path/to/php test_mc.php
验证是否设置成功:
OK,果然如此,超时时间设置成功。
当然,还有一种简单粗暴的方法:
<?php
...
ini_set('memcache.default_timeout_ms', 3000);
...
在php.ini修改或者动态修改都可以。
总结
不太清楚Memcache扩展2.2.7以后的版本有没有修复这个bug。但2.2.7以后的都是beta版,2013年后就没更新了。
建议有条件都把Memcache扩展换成Memcached,不过要注意两者的数据兼容情况,因为两者的序列化方式有差异的。