问题场景
web系统在线上运行时,偶尔会遇到前端抖动(同一时刻发送多次同一请求)的情况。 由于我们的服务是分布式部署,当出现两个请求落到了不同服务器,则无法通过数据库的事务和隔离级别解决。
当请求是创建新用户时,由于前端将同一请求发送了两次,并且请求落在了不同的后端机上,此时两台服务器同时去数据库中查询是否存在该用户,返回的结果都是不存在,于是都执行了创建该用户,导致数据库中存在了两个用户。
方案
1、前端解决
由于前端代码错误,或者交互设计影响(例如点击提交后按钮未置灰,可以重复点击),导致了重复请求的情况。
即使前端修复了该问题,当接口被人攻击时,仍然会出现该上述问题。
因此该方案不够可靠。数据的安全性和完整性不能依赖于前端,必须后端解决
2、多机到单机
在负载均衡上配置请求按源地址或者url进行hash,保证同一来源的请求落到同一个后端机上,然后在代码中使用队列存储最近一段时间的请求,通过这种方式过滤重复的请求。如果同一台机器上php-fpm启动了多个子进程,那么需要通过共享内存和并发锁的方式,保证同一台机器同一时刻的请求不会重复
该方案也有一定局限性,并且如果一台机器上启动2个服务实例,就无法解决该问题。 并且最终也将使用并发锁。
3、悲观锁
在每次处理请求时,先查找数据库是否存在该数据,并加上悲观锁select for update。 在高并发的情况下,这样操作会影响性能,并且select for update中where条件必须是主键,否则将不是行级锁,而是表级锁。
因此该方案并不是一种很好的方案
4、并发控制锁
使用redis单实例,正确地实现了并发控制锁。参考文章
class LockHelper
{
static public function lock($key,$ttl)
{
$lockID = rand(0,100000)."_".uniqid();
$redis = KVStore::getInstance(KVStore::PLATOV2);
$isLock = $redis->set($key, $lockID, array('nx', 'ex'=>$ttl));
return array($isLock,$lockID);
}
static public function unlock($key,$lockID)
{
$redis = KVStore::getInstance(KVStore::PLATOV2);
$script = <<<LUA
if redis.call("get",KEYS[1]) == ARGV[1] then
return redis.call("del",KEYS[1])
else
return 0
end
LUA;
return $redis->eval($script, array($key,$lockID),1);
}
}
这里lock和unlock都是原子操作。lock时使用随机数是为了防止出现误删除其它请求创建的锁的情况。unlock时为什么使用lua脚本呢?
Lua与Multi/EXEC的功能比较像,在执行过程中,redis不会执行其它命令,这就不会有并发访问的问题,这是非常好的。但Multi/EXEC要求所有命令都是独立的,后面的命令无法知道前面的命令是否执行成功,因为redis中并没有if等语句,使用Lua可以解决这个问题。
测试脚本如下
function test()
{
$key = "hello";
for($i=0;$i<=100;$i++){
$pid = pcntl_fork();
if($pid == -1){
die("could not fork");
}else if($pid == 0){
$cpid = posix_getpid();
while(1){
list($isLock,$lockID) = LockHelper::lock($key,10);
echo "进程{$cpid}竞争锁\n";
$sleepTime = rand(0,3000000);
if($isLock){
$duration = $sleepTime/1000000.0;
echo "进程{$cpid}获取锁,sleep{$duration}\n";
usleep($sleepTime);
$ret = LockHelper::unlock($key,$lockID);
if($ret){
echo "进程{$cpid}释放锁\n";
}
}
}
}
}
while(1){
sleep(10);
}
}
测试结果如下,使用锁后性能仍可以达到1w左右的qps,可见对性能的影响不大。