redis的主从同步(二)2.8以后的方式

接上篇,《redis的主从同步(一)2.8版本以前的方式》,在最后,讲了到了2.8版本之前的方式有缺陷,大家还记得吧,今天来讲讲从2.8版本开始redis主从同步方式的改进

先来回顾下2.8版本之前redis主从同步方式的缺陷

  • 如果同步(sync)操作完成后,同步了已有的数据,此时,主从服务器之间处于命令传播 (command propagate) 阶段,此时会传递后续的命令,然后主从服务器之间断开连接
  • 当主从服务器重新建立连接后,主从服务器之间又开始执行同步(sync)操作
  • 此时的同步(sync)操作,主服务器生成RDB文件,RDB文件包含的key是从第一次同步中的第一个命令开发开始
  • 虽然还是可以完成同步(sync)操作,但是其实有很多key是没有必要再次同步的
  • 因为同步(sync)操作中,需要主服务器生成RDB文件,这个操作会占用服务器的大量的资源:CPU、内存、IO
  • 而主从服务器之间传递RDB文件会占用服务器带宽
  • 从服务器加载RDB文件时,同样会占用服务器的大量的资源:CPU、内存、IO
  • 所以没有没有必要的同步(sync)操作会损耗服务器资源,降低服务的性能
总结下来就是,老版的主从同步方式对于断线重连情况下很低率,所以2.8版本开始通过PSYNC命令代替了SYNC命令来执行同步操作

PSYNC命令

  • PSYNC命令有两种模式:完整同步模式(full resynchronization)部分同步模式(partial resynchronization)两种模式
完整同步模式(full resynchronization)
  • 完整同步模式用于处理初次复制情况
  • 完整同步模式的执行过程和SYNC命令一致,我们顺便回顾下,过程如下:
    同步(sync)操作的流程
  • 1.从服务器向主服务器发送slaveof命令
  • 2.主服务器接受到slaveof命令后
  • 3.开始执行BGSAVE命令
  • 4.在后台生成一个RDB文件
  • 5.并使用一个缓冲区记录从开始执行的所有命令
  • 6.主服务器BGSAVE命令执行完毕
  • 7.主服务器将BGSAVE命令生成的RDB文件发送至从服务器
  • 8.从服务器接受RDB文件并且载入
  • 9.将自己的数据库状态更新至主服务器执行BGSAVE命令时的数据库状态
  • 10.主服务器将记录在缓冲区中里所有的写命令发送给从服务器
  • 11.从服务器执行这些命令完成整个同步过程
部分同步模式(partial resynchronization)
  • 部分同步模式主要来处理断线重连后的复制场景
  • 别的和SYNC命令一致,只有在断线重连后,主节点会把断线断线期间的命令同步过从节点,不会在重新同步所有的命令了
来看下断线重连情况下的PSYNC命令执行过程
时间 主服务器 从服务器
T0 主从服务器完成同步 主从服务器完成同步
T1 执行传播命令,传播 set k1 v1 命令 执行主服务器传播过来的 set k1 v1 命令
T2 执行传播命令,传播 set k2 v2 命令 执行主服务器传播过来的 set k2 v2 命令
T3 此时发生故障,主从服务器断开链接 此时发生故障,主从服务器断开链接
T4 set k3 v3 此时已经和主服务器断开连接,set k3 v3 没有传播过来
T5 set k4 v4 此时已经和主服务器断开连接,set k4 v4 没有传播过来
T6 此时故障恢复,主从服务器重新链接 此时故障恢复,主从服务器重新链接
T7 向主服务器发送 PSYNC命令
T8 向从服务器发送确认回复,执行部分同步 接受到主服务器的确认回复,执行部分同步
T9 向从服务器发送set k3 v3、set k4 v4两个命令
T10 接收到主服务器发送过来的set k3 v3、set k4 v4两个命令,并执行
T11 此时主从服务器完成部分同步 此时主从服务器完成部分同步
  • 而这个过程,主要依赖于三个部分
主从服务器的复制偏移量
  • 主从服务双方都会维护一个复制偏移量
  • 主服务器每次给从服务器传播n个字节,就将自己维护的偏移量加n
  • 从服务每次接收到主服务器传播过来的数据时,就将自己维护的偏移量加上数据大小的字节数
  • 主从偏移量栗子:
主服务器偏移量:offset=100
从服务器A偏移量:offset=100
从服务器B偏移量:offset=100
  • 此时说明主服务和从服务器A、从服务器B都处于同步一致的状态
  • 当主服务向从服务同步100字节数据后
主服务器偏移量:offset=100
从服务器A偏移量:offset=200
(从服务器B和主服务器断开链接)从服务器B偏移量:offset=100
  • 此时说明主服务和从服务器A处于同步一致的状态
  • 而从服务B因为断线原因导致从服务器B的偏移量 offset=100,可以判断出来他们不处于数据同步状态
主服务器的复制积压缓存区
  • 复制积压缓存区是由主服务器维护的一个队列,默认大小为1MB

  • 该队列是固定长度先进先出

  • 当主服务器对从服务器执行命令传播时,不光会发送所有命令给所有从服务

  • 还会把所有命令写入复制积压缓存区中,如图:

    复制积压缓存区

  • 因为复制积压缓存区队列,是把主服务的每一个命令的字节写入到队列中,包含两部分,偏移量命令字节值

  • 队列结构如下:

Node1:
offset=1
val=s
Node2:
offset=2
val=e
Node3:
offset=3
val=t
Node4:
offset=4
val=k
Node5:
offset=5
val=1
Node6:
offset=6
val=v
Node7:
offset=7
val=1
  • 看到队列结构,就是把主服务的命令set k1 v1的每一个字节和字节对应的偏移量存放到复制积压缓存区
  • 当从服务器重连上主服务器上时,从服务器会通过PSYNC将自己的复制偏移量offset发送给主服务器,主服务器会根据这个复制偏移量来判断是使用完整同步 还是 部分同步,具体操作如下:
时间 主服务器 从服务器
T0 此时发生故障,主从服务器断开链接 此时发生故障,主从服务器断开链接
T1 此时故障恢复,主从服务器重新链接 此时故障恢复,主从服务器重新链接
T2 向服务器发送 PSYNC命令,命令中会将自己的复制偏移量发送过去
T3 接受到从服务器传过来的复制偏移量进行判断
T4 如果该复制偏移量以后的数据还存在复制缓存区里面,就执行部分同步,数据从复制缓存区取
T5 若果该复制偏移量以后的数据不存在了(因为队列先进先出),所以要执行完整同步
redis服务的运行id
  • 每一个redis服务启动时候,都会有自己的运行id
  • 每个id都不会重复,具体怎么实现的不看了
  • 当从服务和主服务器进行初次复制时,从服务会保存主服务的运行id
  • 在断线重连后,执行PSYNC命令是,会比较该id,如果前后id一致,主服务在通过判断复制偏移量判断是需要完整同步还是部分同步,如果前后id不一致,那么说明前后的主服务不一样,所以选用完整同步
PSYNC命令执行的详细过程
时间 主服务器 从服务器
T0 主服务器启动,生成唯一运行id(假装模拟一个)=1 从服务器启动,生成唯一运行id(假装模拟一个)=2
T1 此时,主从初次复制完成(假设没有命令),主偏移量offset=0,复制积压缓存区中间没有数据 此时,主从初次复制完成(假设没有命令),从偏移量offset=0
T2 执行传播命令,传播 set k1 v1 命令,把该命令写入复制积压缓存区,主偏移量offset=9 执行主服务器传播过来的 set k1 v1 命令,从偏移量offset=9
T3 执行传播命令,传播 set k2 v2 命令,把该命令写入复制积压缓存区,主偏移量offset=18 执行主服务器传播过来的 set k2 v2 命令,从偏移量offset=18
T4 此时发生故障,主从服务器断开链接 此时发生故障,主从服务器断开链接
T5 执行set k3 v3命令,把该命令写入复制积压缓存区,主偏移量offset=27 此时已经和主服务器断开连接,set k3 v3 没有传播过来
T6 执行set k4 v4命令,把该命令写入复制积压缓存区,主偏移量offset=36 此时已经和主服务器断开连接,set k4 v4 没有传播过来
T7 此时故障恢复,主从服务器重新链接 此时故障恢复,主从服务器重新链接
T8 向主服务器发送 PSYNC命令,带了上次同步的主服务运行id=1,从服务器的偏移量offset=18
T9 主服务器接受到PSYNC命令,通过对于运行id,发现是断线之前的两个服务器
T10 主服务器在判断从服务器发送过来从服务偏移量,从服务器发送过来的偏移量offset=18,主服务判断复制积压缓存区中offset=18以后的数据是否存在,发现数据存在,主服务器判断使用部分同步
T11 向从服务器发送确认回复,执行部分同步 接受到主服务器的确认回复,执行部分同步
T12 主服务从复制积压缓存区中偏移量offset=18以后的舒服,向从服务器发送set k3 v3、set k4 v4两个命令
T13 接收到主服务器发送过来的set k3 v3、set k4 v4两个命令,并执行,并更新从服务器的偏移量offset=36
T14 此时主从服务器完成部分同步,他们的偏移量都为offset=36 此时主从服务器完成部分同步,他们的偏移量都为offset=36

今天讲了redis的主从同步中的2.8版本以后的方式,欢迎大家来交流,指出文中一些说错的地方,让我加深认识,愿大家没有bug,谢谢!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容