Redis:集群方案

单实例往往不能满足生产环境的需求,需要引入Redis集群,比较常见的Redis集群方案有主从复制、哨兵模式、官网的Redis Cluster,另外还有一些Proxy模式,各大厂商也有自己的方案。

主从复制模式

基本架构

工作原理

  1. slave向master发送SYNC命令,master接收到命令后通过bgsave保存快照(RDB持久化),并使用缓冲区记录保存快照期间执行的写命令
  2. master将快照文件发送给slave,继续往缓冲区记录写命令
  3. slave收到快照文件后载入数据
  4. master快照发送完成后想slave发送缓冲去的写命令,slave接收命令并执行,完成复制初始化
  5. 此后每次执行一个写命令都会同步发送给slave,保持master于slave之间的数据一致性

特点

最简单的一种集群方案,本质上写入还是单实例(Master节点),读可以在主节点或从节点,能够实现读写分离。缺点是容量依赖单节点,无法实现分区,不具备自动容错与恢复。

哨兵模式

为了解决主从复制模式不能自动进行故障恢复的不足,引入特殊的哨兵节点(Sentinel),用来监控Redis节点,在发生故障时选举出领头哨兵,由领头哨兵从所有的Slave节点中选一个作为新的Master节点,完成故障转移。

基本架构

Sentinel内部互相有连接,用于监控其他Sentinel和通信,同时每个Sentinel和每个Redis节点之间有两条连接,一个连接用来发送命令通信,一个连接用来订阅Redis节点的_sentinel_:hello频道和获取监控该节点其他Sentinel的信息。

工作原理

与Master建立连接后,Sentinel会执行以下操作:

  1. 定期向Master和Slave发送INFO命令,发送INFO命令可以获取当前数据库节点信息,如果当前是Master节点,能自动发现Master的Slave节点。
  2. 定期向Master和Slave的_sentinel_:hello频道发送自己的信息
  3. 定期向Master、Slave和其他Sentinel发送PING命令

故障转移

如果Sentinel向数据库节点发送的PING命令超时,Sentinel认为其主管下线,如果该节点是主节点,Sentinel会向其他Sentinel发送命令询问他们是否也认为改Master主观下线,如果达到一定数量的投票,Sentinel会认为改Master客观下线,并开启选举领头节点进行故障恢复,选举采用Raft算法:

  1. 认为Master客观下线的Sentinel-1向每个Sentinel发送命令,要求对方选自己为领头哨兵。
  2. 如果目标Sentinel节点没有选过其他人,则会同意选举Sentinel-1为领头哨兵
  3. 如果有超过一半的Sentinel统一Sentinel-1当选领头,则Sentinel-1成为领头。
  4. 如果有多个Sentinel同时竞选,导致一轮投票没有选出领头,则开启下一轮竞选,直到选出领头。

领头哨兵从故障Master的Slave节点选出一个当选新的Master,选择的规则如下:

  1. 所有在线的Slave选优先级最高的,优先级通过slave-priority配置
  2. 如果有多个高优先级的Slave,则选取复制偏移量最大的(数据最完整的)
  3. 如果以上条件都一样,选取id最小的

挑选出要升级的Slave后,领头Sentinel向该节点发送命令使其成为Master,然后再向其他Slave发送命令接收新的Master,其他Slave收到命令后向新的Master节点发送命令进行数据同步,将故障的Master更新为新的Master的Slave节点。

特点

能够自动故障转移,提高了可用性,但是同样还是存在主从复制模式的难以扩容,受限于Redis单机能力的缺点。

Redis Cluster

基本架构

Cluster采用无中心架构

  1. 所有Redis节点彼此互联,内部使用二进制协议优化传输速度和带宽
  2. 节点的fail是通过集群中半数以上节点检测失效判定的
  3. 客户端与key所在的Redis节点不需要直连,内部会做重定向;不需要中间代理层,客户端连接集群任意一个节点即可。

工作原理

  1. Redis Cluster引入了槽位slot的概念(取值0-16383),每个节点均分这些slot
  2. 当对某个key操作的时候,Redis会计算key的crc16值,然后对16384取模,这样每个key都会对应一个0-16383范围的哈希槽,根据哈希槽找到负责对应槽位的节点,然后自动跳转到这个槽位上进行存取操作
  3. 为了提高可用性,Cluster同时支持主从复制,每个Master对应一个或多个Slave节点,当主节点宕机的时候启动从节点
  4. 如果一个集群半数以上的Master节点认为某个Master节点疑似下线,那么这个Master将被标记为已下线。

故障转移的方法和Sentinel模式类似:

  1. 从复制故障Master节点的所有Slave节点选一个作为新的Master
  2. 被选中的Slave节点执行SLAVEOF no one命令,成为新的Master节点
  3. 新的Master节点会撤销所有对已下线Master节点的槽指派,将这些槽指派给自己
  4. 新的Master节点向集群广播一条PONG消息,让集群中的其他节点知道这个节点已经由Slave变成了Master节点,并且已接管了槽位
  5. 新的主节点开始接受和自己负责处理的slot有关的命令请求,故障转移完成。

特点

优点
  • 无中心架构,不存在单点故障
  • 不需要中间代理,减少依赖
  • 支持横向扩展,伸缩性更好,能提供的并发能力更高
  • 能自动故障转移,高可用
缺点
  • 客户端实现复杂
  • 数据异步复制,不保证数据强一致性
  • Slave作为冷备不提供服务
  • 批量操作限制
  • 事务支持有限,只支持多key在同一节点的事务操作

参考

【1】书籍:Redis设计与实现
【2】 一文掌握Redis的三种集群方案

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,826评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,968评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,234评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,562评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,611评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,482评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,271评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,166评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,608评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,814评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,926评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,644评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,249评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,866评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,991评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,063评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,871评论 2 354

推荐阅读更多精彩内容

  • 研发工作中我们总是会用到缓存,redis作为目前互联网企业最流行的缓存中间件,我们这篇文章想跟大家一起讨论下它的集...
    Tide_w阅读 1,648评论 0 3
  • 1、 高可用Sentinel(单主 Redis 足以支撑业务,保证数据安全,业务前期数据少可用,目)ps:主从只是...
    hedgehog1112阅读 316评论 0 1
  • 本文针对Redis以及redis的几种集群方案的调研日期在2016年8月,后续如果各框架有更新与本文不符,请自行甄...
    范安林阅读 76,308评论 0 35
  • 之前写过一篇介绍redis集群的文章,那篇可以方便大家入门,这篇是对这几个方案的原理介绍,方便对大家对这几个集群方...
    monkey01阅读 2,708评论 1 7
  • 今天感恩节哎,感谢一直在我身边的亲朋好友。感恩相遇!感恩不离不弃。 中午开了第一次的党会,身份的转变要...
    迷月闪星情阅读 10,564评论 0 11