Redis【一】Redis主从复制原理
Redis【二】Redis哨兵模式原理
如上图所示展示了Redis主从复制的主要过程
- 在slave节点上配置replicaof(老版本是slaveof) {主节点IP:Port}
- slave节点发现master节点配置有变更,就尝试与master节点建立socket连接
- slave发送ping,如果没有及时收到master的pong,slave会1s重试一次
- slave发送权限验证
- slave节点向master节点发送sync/psync命令,如果是psync命令,master节点会根据psync的offset参数决定是部分还是全量同步(首次连接时一般都会是全量同步,断线重连的话可能会是部分同步),master节点执行bgsave,把全量rdb数据通过socket的方式传给slave节点
- master在执行basave的时候会把之后的接收处理的所有写命令写入到副本客户端缓冲区(缓冲区的大小由client-output-buffer-limit slave 配置),如果缓冲区超过了配置的缓冲区大小限制,master就会停止当前同步过程,当前同步就会失败。
Redis数据同步
Redis2.8之后支持psync,psync在同步阶段可以根据场景决定使用全量同步或部分同步。
使用部分同步的条件:
- 主从节点各自复制偏移量
- 主节点复制积压缓冲区
- 主节点运行 ID
主从节点各自复制偏移量:
参与复制的主从节点都会维护自身的复制偏移量。
主节点在处理完写入命令后,会把命令的字节长度做累加记录,统计信息在 info replication 中的 masterreploffset 指标中。
从节点每秒钟上报自身的的复制偏移量给主节点,因此主节点也会保存从节点的复制偏移量。
从节点在接收到主节点发送的命令后,也会累加自身的偏移量,统计信息在 info replication 中。
通过对比主从节点的复制偏移量,可以判断主从节点数据是否一致。
主节点复制积压缓冲区:
复制积压缓冲区是一个保存在主节点的一个固定长度的先进先出的队列,默认大小 1MB。该配置由参数repl_backlog_size设置
这个队列在 slave 连接是创建。这时主节点响应写命令时,不但会把命令发送给从节点,也会写入复制缓冲区。
他的作用就是用于部分复制和复制命令丢失的数据补救。
主节点运行 ID:
每个 redis 启动的时候,都会生成一个 40 位的运行 ID。
运行 ID 的主要作用是用来识别 Redis 节点。如果使用 ip+port 的方式,那么如果主节点重启修改了 RDB/AOF 数据,从节点再基于偏移量进行复制将是不安全的。所以,当运行 id 变化后,从节点将进行全量复制。也就是说,redis 重启后,默认从节点会进行全量复制。
psync命令的格式是psync {masterrunid} {offset}
master如果判断slave发送的offset还在复制积压缓冲区中,就会返回+CONTINUE进行部分复制,否则会返回+FULLRESYNC {runId} {offset} 进行全量复制。
全量复制
- slave向master发送psync命令
- master发现offset已经不在复制积压缓冲区,就返回FullReSync {runId} {offset} 准备执行全量同步
- slave保存master的runI offset信息
- master执行basave保存的rdb数据,slave把接收到的rdb文件写入磁盘上。
redis支持无盘复制(repl-diskless-sync设置为true),另外可以通过repl-diskless-sync-delay 5设置延迟5秒执行bgsave,这样可以等待更多的slave sync请求,就可以多个slave使用同一个rdb文件,否则的话其他的slave需要等当前bgsave结束之后才能执行同步操作。
master执行bgsave之后会把之后的所有写命令放入复制网络缓冲区,该大小由参数client-output-buffer-limit slave设置。 - master向slave发送rdb数据
- master把刚才复制网络缓冲区中的写命令发送给slave
- slave清空当前实例中的数据
- slave加载master发来的rdb文件
部分复制
- slave与master断开连接
- master持续把接收到的写命令写入复制挤压缓冲区(repl-backlog-buffer)
- slave与master重新连接
- slave发送psync {offset} {runid} runid是slave中记录的master的runid
- master收到psync命令,比对runid与当前运行实例的runid相同,offset还在repl-bakclog-offset中,可以部分复制,就返回lsave CONTINUE
- 根据slave的offset发送slave缺失的命令