redis是一种提供多种数据类型的开源key-value存储系统,通常将数据全部存储在内存中。
redis是目前最受欢迎的key-value存储系统,是基于内存存储kv的数据库,合理的使用redis作为缓存,可以极大的改善系统的性能和服务器请求响应时间。
redis除了基本的kv存储以外,还实现了哈希(Map), 列表(list), 集合(sets) 和 有序集合(sorted sets)等数据类型;结合内存和数据结构的特性,在业务功能实现实现过程中,可以更灵活的实现很多特性。
今天介绍的是有序集合,这种数据结构,我们在实际的业务过程中使用了有序集合,并且收获到一些有价值的经验。
什么是有序集合
在redis提供的数据类型中,有序集合(Sorted Set)和集合(Set),在集合中不能添加重复的元素,相同值的元素只能有一个;有序集合不同于集合的是,它可以给每个元素设置一个double类型的分数,通过这个值,redis为集合中的成员进行从小到大的排序。
在redis中,有序集合的实现,使用的是一种叫skiplist数据结构,这种数据结构可以让get、set、add和remove等操作的预期时间达到O(log N)
,具体的原理,有兴趣可以自己了解。
有序集合提供了丰富的操作,可以在很多应用场景应用。
- zunionstore 是求两个有序集合的并集,可以用来合并两个投票中所有参与的人的排行榜。
- zinterstore 是求两个集合的交集,通过它,可以获得同时参加多个候选人投票的名单列表。
- zrevrank 方便的查询某个元素在有序集合中的位置,也就是投票的排名。
- zscore 用来查询某个元素在集合中的分数
- zrevrank 返回某个元素在集合中的位置
- zrevrangebyscore 获取某个分数区间内元素的排行榜
有序集合提供了从小到大和从大到小两种排行榜,其中有rev的命令,返回的是从大到小的集合。
设计投票游戏
之所以会在投票游戏中选用redis,主要考虑高并发的支持,在实际应用的场景中,因为投票的时候可能有很高的并发投票和实时投票结果查询,如果所有操作都直接操作数据库,那么会对数据库造成较大的负载。经过考察技术方案和实现成本,决定采用redis提供的有序集合,实现投票过程和实时排名的展示,直接读取缓存,避免了非核心业务对数据库的突发高并发访问。
投票游戏的用户故事
- 创建投票的候选人
- 创建用户
- 用户参加活动,获得一定数量的投票额度
- 用户使用投票额度为候选人投票
- 候选人查看为自己投票的用户的计票排名
- 所有人查看实时的候选人选票排名
游戏流程
首先是可以有管理员,创建候选人和用户,或者候选人和用户自己注册,这个取决于具体的场景的需要。本次demo提供的接口是用户和候选人自己注册的模式。存储用户和候选人信息,最简单实现可以用redis的字符串类型key/value,本身就是hash,也可以使用redis提供的HASH类型。
创建用户以后,为用户分配投票额度是要做的工作,通过redis的字符串类型,INCR
实现,可以保证操作的原子性。投票过程同样在这个数据结构上减去一定的值,但是为了防止并发情况下,用户使用超过自己拥有的额度,需要设计一个锁,只有在获得锁之后,才能做DECR
操作。
投票扣减用户的额度之后,就可以操作核心数据结构,有序集合。第一步是为特定的候选人增加上获得的投票,这个是所有候选人的id作为键的有序集合,分数就是获得的总票数;同时在用户针对这名候选人的投票记录上,也记录每个用户为同一个候选人投票的排名。
实现上面的操作之后,获得实时投票排名,就是一件很轻松的工作。有序集合提供的操作可以简单的查询出各种排名有关的名单。
编码实现redis的调用
设计好游戏流程之后,就可以开始直接动手实现了,下面用redis-cli命令,以伪代码的形式展示一下竞猜的整个流程,可以直接在redis客户端下查看效果。
redis-cli伪代码
- 创建用户和竞选的候选人
set voter:1 0
set voter:2 0
set voter:3 0
set elector:1 name
set elector:2 name
- 为用户分配额度
incrby voter:1 50
incrby voter:2 40
incrby voter:3 60
- 用户投票
# voter:1
# 增加总榜单
zincrby elector:total:list 25 elector:1
# 增加竞选人榜单
zincrby elector:single:elector:1 25 voter:1
decrby voter:1 25
# voter:2
zincrby elector:total:list 12 elector:1
zincrby elector:single:elector:1 12 voter:2
decrby voter:2 12
# voter:3
zincrby elector:total:list 40 elector:2
zincrby elector:single:elector:2 40 voter:3
decrby voter:3 40
- 各种榜单
# 总候选人榜单
zrevrange elector:total:list 0 -1 WITHSCORES
# 投候选人1的名单
zrevrange elector:single:elector:1 0 -1 WITHSCORES
# 创建用户投票排行
zunionstore voter:total:elector 2 elector:single:elector:1 elector:single:elector:2
# 查看用户1的排名(返回下标从0开始)
zrevrank voter:total:elector voter:1
下图是运行结果:
node.js代码
查看代码Node.js实现
最后,我们用node.js实现了一个简单的后端服务demo,javascript的数据结构和redis SDK比较清晰的展示原生命令的调用效果。demo演示了各种api的调用,可以安装说明,使用curl调用对应的接口效果。
实现过程中,我们可以看到,如果直接使用命令,其实整个投票过程只需要非常简单的几个命令就可以完成。而demo中演示的代码,相比命令,增加了很多提供接口访问和sdk调用相关的代码;如果最后为生产应用编写一个投票程序,根据业务逻辑的需要和容量规划,还需要考虑更多的细节,软件开发本身也是这样的过程,从一个简单的想法和创意开始,然后需要考虑更多的现实场景和需求,不断的在程序中还原出整个构想。