《Redis设计与实现》笔记

1、 SDS

常数复杂度获取字符串长度
记录自身长度，避免缓冲区溢出
减少修改字符串时带来的内存重分配次数：空间预分配，惰性空间释放
二进制安全

只关心二进制化的字符串，不关心具体格式，只会严格的按照二进制的数据存取，不会妄图以某种特殊格式解析数据。
兼容部分 C 字符串函数

2、跳表

组成：zskiplist、zskiplistNode

复杂度：Olg(N)、最坏O(N)

有序集合键的底层实现之一、集群。

前进指针：遍历

跨度：计算排位（Rank），在查找某个节点的过程中，将沿途访问过的所有层的跨度累加起来，得到的结果就是目标节点在跳跃表中的排位。

每个节点的层数是 1～32之间的随机数

同一跳跃表中，多个节点可以包含相同的分值，但每个节点的成员对象必须是唯一的

跳跃表中的节点按照分值大小进行排序，当分值相同时，节点按照成员对象的大小进行排序

3、字典

链地址法解决键冲突

渐进式 hash: h[0]、h[1]

4、垃圾回收

引用计数

对象共享：共享值为 0～9999的字符串对象

5、过期键删除策略

定时删除：存在大量待删除过期键时占用较多CPU时间，影响服务器的响应时间和吞吐量

Redis 采用策略：

惰性删除：读写指令前执行 expireIfNeeded 函数检查键是否过期

过期键如果不被删除，则占用内存不释放。浪费内存，有内存泄漏风险。
定期删除：expires 字典中随机检查一部分键的过期时间，并删除过期键。

主服务器删除一个过期键后，向从服务器发送 DEL 指令，显式地删除过期键，从服务器不会主动删除过期键，需要等待主节点发送 DEL 命令，保证数据的一致性。

6、数据库

由 dict 和 expires 组成，dict 字典负责保存键值对，expires 字典保存键的过期时间

所有数据库保存在 redisServer.db 中，数据库数量由redisServer.dbnum 保存

客户端通过修改目标数据库指针，让它指向 redisServer.db 数组中的不同元素来切换不同数据库。

7、RDB

保存所有键值对数据，压缩二进制文件

SAVE 阻塞主进程，BGSAVE fork 子进程负责创建 rdb 文件，不阻塞。

8、AOF

保存所有写命令。BGREWRITEAOF 重写 AOF 文件，减小 AOF 文件大小。

子进程执行重写：

父进程可以继续处理命令请求

子进程带有服务器进程的数据副本，使用子进程而不是线程，可以避免在使用锁的情况下，保证数据的安全性。

子进程完成 AOF 重写后，向父进程发送信号，父进程调用信号处理函数（阻塞）并执行以下工作：

将 AOF 重写缓冲区中的所有内容写入到新的 AOF 文件，对新的 AOF 文件进行改名，原子地覆盖现有的 AOF 文件，
完成新旧两个 AOF 文件的替换。

数据一致性：

执行 BGREWRITEAOF 时，Redis 服务器维护一个 AOF 重写缓冲区，该缓冲区会在子进程创建新 AOF 文件期间，

记录服务器执行的所有写命令。当子进程完成创建新的 AOF 文件工作之后，服务器会将重写缓冲区的所有内容追加到新 AOF 文件的末尾，使得新旧两个 AOF 文件所保存的数据库状态一致。最后，服务器用新的 AOF 文件替换旧的 AOF 文件，以此来完成 AOF 文件的重写。

客户端（发送命令） > 命令处理器（追加命令）> AOF 缓冲区、AOF 重写缓冲区

9、事件

文件事件

处理并发：I/O 多路复用程序将所有产生事件的套接字放到一个队列里。
时间事件（存放在链表中, 属性：id、when、timeProc（函数））

定时事件：让程序在指定的时间之后执行一次

周期事件：让程序每隔指定时间执行一次

10、客户端

服务器端维护 clients 链表保存所有客户端的状态

11、同步

PSYNC 命令（新），完整重同步（初次复制）、部分重同步（断线后重复制）

部分重同步三要素：

复制偏移量

复制积压缓冲区（replication backlog）：如果 offset 偏移量之后的数据仍在 replication backlog 中，执行部分重同步；否则执行完整重同步。

服务器 run ID：若断线恢复，主服务器 run ID 不变，执行部分重同步；否则执行完整重同步。

12、 Sentinel

两个与主服务器的异步网络连接

命令连接，用于向主服务器发送命令，并接收回复
订阅连接，订阅主服务器的 Sentinel:hello 频道

每 10s 向主服务器发送 INFO 命令，获取服务器信息

主观下线（SRI_S_DOWN，在 down-after-milliseconds 时间内，连续向Sentinel返回无效回复）－> 客观下线（足够多主观下线投票）

min-salves-to-write 1:至少向一个 slave 节点写数据，避免 master 网络隔离后继续写数据，造成数据不一致。

13、Cluster

16384 个槽、Gossip 协议

单个 master （无 slave）挂掉，则整个集群挂掉，可设置 cluster-require-full-coverage no 解决

bgsave 打开，多个实例同时 fork ，响应时间增大（关闭 bgsave，开 aof）

依赖客户端成熟度（智能客户端）

失效检测：

ping -> PFAIL -> FAIL

14、事务

将多个命令请求打包（队列），一次性、按顺序执行多个命令。

单线程串行执行事务，保证隔离性。

15、SORT 实现

根据数据项的 u.score 排序

坑（来源：B站团队分享 http://xargin.com/weekend/）

单线程 mgetall，或者 hgetall 的时候会阻塞后续的调用

解决：redis 只拿来操作一些复杂的数据结构，比如 sorted set 之类的数据，可以拿来用 score 做排序，用吞吐量更好的多线程 memcached 来做 kv 缓存。

zadd的时候key已经过期了，导致一些看起来匪夷所思的bug之类的

解决：用expire then zadd的方式巧妙地解决了这些问题。
文章同步公众号：wuqxuan