年前在做项目的时候遇到了一个小坑，就是把一个超过14位的十进制数字作为score和member存到redis的sorted set的时候，用PHP读取数据的时候score会被转换成浮点数，最末两位的数字会消失，导致当用score作为分页标志的时候会出现分页异常的情况。
1 事故现场
1.1 插入数据
redis> zadd sorted_set_key_test 3888153779537508 3888153779537508
(integer) 1
redis> zrange sorted_set_key_test 0 -1 withscores
1) "3888153779537508"
2) "3888153779537508"
redis>
1.2 读取数据
//redis.php
<?php
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);
var_dump($redis->ZRANGE("zset_test", 0, -1, true));
[root@localhost ~]# php redis.php
array(1) {
[3888153779537508]=>
float(3.8881537795375E+15)
}
[root@localhost ~]#
2 分析过程
2.1 redis存储的大小限制
redis中sorted set的scores取值范围
根据上面的文档：Redis里sorted set类型的score支持整形和浮点型，其中整形的-(2^53) 到+(253)，而3888153779537508并没有超过253（18014398509481983）这个范围
2.2 通过tcpdump抓包，确定问题是在PHP中
tcpdump -i lo port 6379 -q -X
tcpdump抓包结果
如图所示，第一个红框内为php向redis服务器发送请求的数据包，第二个红框内为redis返回数据结果的数据包，包内容如下：
[root@localhost ~]# telnet 127.0.0.1 6379
Trying 127.0.0.1...
Connected to 127.0.0.1.
Escape character is '^]'.
zrange zset_test 0 -1 withscores
*2
$16
3888153779537508
$16
3888153779537508
发现redis返回的是字符串类型的一串数字
2.3 通过查PHP-redis扩展的源码，发现是扩展的问题
//redis.c line:1966-1971
/* {{{ proto array Redis::zRange(string key,int start,int end,bool scores=0) */
PHP_METHOD(Redis, zRange)
{
generic_zrange_cmd(INTERNAL_FUNCTION_PARAM_PASSTHRU, "ZRANGE",
redis_zrange_cmd);
}
首先找到了实现$redis->zrange的函数，发现调用了generic_zrange_cmd的函数
//redis_cluster.c line:1586-1617
/* Generic implementation for ZRANGE, ZREVRANGE, ZRANGEBYSCORE, ZREVRANGEBYSCORE */
static void generic_zrange_cmd(INTERNAL_FUNCTION_PARAMETERS, char *kw,
zrange_cb fun)
{
redisCluster *c = Z_REDIS_OBJ_P(getThis());
cluster_cb cb;
char *cmd; int cmd_len; short slot;
int withscores=0;
if(fun(INTERNAL_FUNCTION_PARAM_PASSTHRU, c->flags, kw, &cmd, &cmd_len,
&withscores, &slot, NULL)==FAILURE)
{
efree(cmd);
RETURN_FALSE;
}
if(cluster_send_command(c,slot,cmd,cmd_len TSRMLS_CC)<0 || c->err!=NULL) {
efree(cmd);
RETURN_FALSE;
}
efree(cmd);
cb = withscores ? cluster_mbulk_zipdbl_resp : cluster_mbulk_resp;
if (CLUSTER_IS_ATOMIC(c)) {
cb(INTERNAL_FUNCTION_PARAM_PASSTHRU, c, NULL);
} else {
void *ctx = NULL;
CLUSTER_ENQUEUE_RESPONSE(c, slot, cb, ctx);
RETURN_ZVAL(getThis(), 1, 0);
}
}
在这个函数的1609行，判断如果有withscores，调用cluster_mbulk_zipdbl_resp
//cluster_library.c line:2207-2214
/* Handling key,value to key=>value where the values are doubles */
PHP_REDIS_API void
cluster_mbulk_zipdbl_resp(INTERNAL_FUNCTION_PARAMETERS, redisCluster *c,
void *ctx)
{
cluster_gen_mbulk_resp(INTERNAL_FUNCTION_PARAM_PASSTHRU, c,
mbulk_resp_loop_zipdbl, NULL);
}
直接调用了cluster_gen_mbulk_resp，并且把mbulk_resp_loop_zipdbl函数作为参数传了进去，发现在cluster_gen_mbulk_resp最终调用了mbulk_resp_loop_zipdbl
//cluster_library.c line:2318-2356
/* MULTI BULK loop processor where we expect key,score key, score */
int mbulk_resp_loop_zipdbl(RedisSock *redis_sock, zval *z_result,
long long count, void *ctx TSRMLS_DC)
{
char *line, *key;
int line_len, key_len;
long long idx=0;
// Our context will need to be divisible by 2
if(count %2 != 0) {
return -1;
}
// While we have elements
while(count--) {
line = redis_sock_read(redis_sock, &line_len TSRMLS_CC);
if (line != NULL) {
if(idx++ % 2 == 0) {
key = line;
key_len = line_len;
} else {
zval z;
if (redis_unserialize(redis_sock,key,key_len, &z TSRMLS_CC)) {
convert_to_string(&z);
add_assoc_double_ex(z_result, Z_STRVAL(z), Z_STRLEN(z), atof(line));
zval_dtor(&z);
} else {
add_assoc_double_ex(z_result, key, key_len, atof(line));
}
/* Free our key and line */
efree(key);
efree(line);
}
}
}
return SUCCESS;
}
发现，在最终处理score数据的时候调用了atof函数，将redis服务器返回的字符串转换成了浮点数，导致了开始说的问题。
3 总结
3.1 后续处理
当时发现这个问题之后，将score作为member的一部分存在redis里，取出来之后，从member中获取到score，再根据这个score来进行分页获取数据
3.2 什么时候会出现这样的问题
经过简单的尝试，发现php最多可以保存14位精确的数据在float类型中，如果超过14位，最末几位会失去精度
3.3 后续吧
在github里提了issue，作者给出的回答是：
大概是说2.2.7之后的版本都是这么处理的，理论上可以对获取到的score进行判断是浮点数还是整数，但是这样会消耗一部分性能。
