一、支持的数据类型
- String
- Hash
- List
- Set
- Zset
- Bitmap
字符串实现 - Hyperloglog
近似的基数计数 - Geospatial index
二、数据结构设计
1. 对象、类型、编码
- 对象
是redis中key、value实际使用的对象结构：
typedef struct redisObject {
// 类型
unsigned type:4;
// 编码
unsigned encoding:4;
// 指向底层实现数据结构的指针
void *ptr;
// ...
} robj;
-
类型
是数据类型：
type -
编码
是底层数据结构：
encode -
类型与编码的对应关系
type and encode 底层数据结构
参考《redis设计与实现》
三、应用场景
1. 缓存
缓存一致性
- 更新还是删除缓存？
更新的话无论先更新缓存还是先更新数据库都会有ABBA的问题，缓存总是旧的
（A更新缓存 -> B更新缓存 -> B更新数据库 -> A更新数据库） 或
（A更新数据库 -> B更新数据库 -> B更新缓存 -> A更新缓存 - 先删缓存还是先更新数据库？
先删缓存，有可能删掉之后，另一个线程来访问，miss之后去数据库取到旧值更新缓存，然后才更新数据库
先更新数据库，只是删除缓存之前这一点点时间读到旧值，影响较小
过期时间
可以通过expire等命令设置过期时间，也可以通过setex在set的同时原子地设置过期时间
过期策略
- 定时删除
定时器，到时主动删除。内存友好，cpu不友好。 - 惰性删除
访问时判断是否过期，过期则删除，返回nil。cpu友好，内存不友好。 - 定期删除
定时扫描，删除部分过期的key。折中方案。
redis使用惰性+定期。
淘汰策略
当内存使用达限后，启用淘汰策略。
- noeviction(默认策略)：对于写请求不再提供服务，直接返回错误（DEL请求和部分特殊请求除外）
- allkeys-lru：从所有key中使用LRU算法进行淘汰
- volatile-lru：从设置了过期时间的key中使用LRU算法进行淘汰
- allkeys-random：从所有key中随机淘汰数据
- volatile-random：从设置了过期时间的key中随机淘汰
- volatile-ttl：在设置了过期时间的key中，根据key的过期时间进行淘汰，越早过期的越优先被淘汰
volatile相关的策略没有可以淘汰的键时，处理同noeviction
big key问题
- 删除大key
直接del复杂度O(n)，会导致长时间阻塞。解决方案：分批删 or unlink（4.0之后），unlink实现时先把key删掉，空间慢慢释放
缓存过期的注意事项
-
缓存穿透
大量访问不存在的数据，穿透缓存直达数据库，直至数据库不堪负重
解决方法
- 如果数据量不大可以直接增加空值缓存，过期时间小一点以节省内存
- 布隆过滤器
-
缓存雪崩
缓存集中失效或者宕机，大量请求直达数据库
解决方法
- 缓存集群高可用
- 过期时间上增加一个小的随机值
-
缓存击穿
热点数据失效，大量请求打到数据库。和雪崩的区别是，击穿是热点key，雪崩是大量的key，不一定是热点。共同点是大量请求打到数据库。
解决方法
- 热点key永不过期
- 加锁，只有拿到锁的线程去读取db，更新缓存，其他线程阻塞
2. 分布式锁
-
加锁
SET resource_name my_random_value NX PX 30000 - 解锁
# lua
if redis.call("get",KEYS[1]) == ARGV[1] then
return redis.call("del",KEYS[1])
else
return 0
end
-
redission
redis客户端之一，封装了上面的操作，可以像操作java锁一样使用 -
问题
set命令加锁的单点挂掉，并且没来得及同步给slave，那么锁就失效了。为此推出了redlock算法，不过这个算法也不完美，参见redlock神仙打架事件
3. 布隆过滤器
-
用处
用于判断key可能存在和一定不存在，常用于- 解决缓存穿透
- 垃圾邮件过滤
- 大数据量去重
-
原理
一个长数组+多个哈希函数 -
用法
需要Redis版本支持插件，并安装RedisBloom
BF.RESERVE {key} {error_rate} {capacity} [EXPANSION expansion] [NONSCALING]
详见 RedisBloom Bloom Filter Command Documentation
4. 位图
- 命令如下，offset最大512M，2^32
SETBIT key offset valueGETBIT key offsetBITCOUNT key [start] [end]BITPOS key bit [start] [end] # 返回位图中第一个值为 bit 的二进制位的位置BITOP operation destkey key [key …] # 对一个或多个保存二进制位的字符串 key 进行位元操作，并将结果保存到 destkey 上-
BITFIELD参见
- 常见用途
- 活跃用户
- 签到
- 分片技巧
例如，10w位分一片，100001分在100001/100000 = 1第二片，offset = 100001%100000 = 1
四、其他
pipeline和事务
- pipeline
多个命令打包发送，客户端行为，对服务器而言和一个一个收到没有区别。
集群模式下可以使用redission支持pipeline，或者自己开发获取key对应的slot。 - 事务
- A
入队错误，所有都不会执行。执行错误，不会回滚，剩下的继续执行。算满足吧 - C
入队错误，不执行，满足一致性。执行错误，继续执行，满足一致性。服务器停机，要么没有持久化，空白；要么根据持久化恢复，都满足一致性 - I
单线程，天然满足 - D
取决于刷盘策略
- A
参考
Redis的内存淘汰策略
缓存失效的经典问题
5 分钟搞懂布隆过滤器，亿级数据过滤算法你值得拥有！
Redis(5)——亿级数据过滤和布隆过滤器
Redis 应用场景汇总
不懂缓存一致性，易把代码写成Bug
