Redis高可用架构

1.主从模式

一个Master与若干Slave组成主从关系,当Slave与Master首次建立连接时,Master向Slave进行全量数据复制,复制结束后,再根据Master的最新数据变更进行增量数据复制。

Master向过多的Slave复制数据,则同样会出现“复制风暴”的问题。

在主从模式下,Master宕机后,需要手动把一台Slave服务器切换为主服务器。

2.哨兵模式

哨兵模式的核心还是主从模式,只不过它在相对于主从模式下Master宕机导致不可写的情况下,提供了一种自动竞选机制:所有的Slave竞选新的Master。

竞选机制的实现依赖于Sentinel服务器。在一个主从模式的Redis架构中会部署若干Sentinel节点,每个Sentinel节点都会与Master、Slave维持心跳。当超过N个Sentinel节点认为Master宕机时,Sentinel节点会协商选举出一个Slave担任新的Master。Sentinel节点会告知所选举出的Slave节点它已被提升为Master,其他的Slave则转而与这个新的Master建立连接,复制数据。引入Sentinel节点可以自动进行主从切换。

3.集群模式

无论是主从模式还是哨兵模式,都只有一个Master对外提供服务。实际上,互联网公司在应用Redis时会采用数据分片的方式:多个Master对外提供服务,全量数据分散在各个Master中。

集群模式使得Redis真正拥有了分布式存储能力。一个Redis集群由多个Redis节点组成,一个Master和若干Slave组成一个组,代表一个数据分片。每个数据分片都通过主从模式保证高可用。

Redis集群基于哈希槽进行数据分片:整个Redis数据库被划分为16384个哈希槽,这些Master把16384个槽位都瓜分了。

当向Redis集群中写入某个数据时,会基于数据Key进行CRC16算法,然后将结果与16384取模得到一个槽位。此数据会被归属到这个槽位上,会被存储到管理这个槽位的Master上。

Redis集群中每个节点都保存有各个节点的IP地址及其所负责的槽位信息,于是Redis客户端连接任意一个节点都能保证对数据的读写路由到正确的数据分片。

Gossip协议

  • 在一个节点数量有限的通信网络中,每个节点都会随机与部分节点通信,经过多轮迭代通信后,各个节点的信息在一定时间内回达成一致。
  • 与Redis集群相关的消息类型有:meet, ping, pong, fail
  • 相关的事件:集群新增节点,节点故障转移
  • Gossip协议优点在于集群元信息的更新比较分散,但是需要经过多次传播才能通知到集群内所有的节点,它是一个最终一致性协议
  • 当节点只有几百个时,可以运行良好,如果集群节点有成千上万个时,Gossip协议回造成集群内部存在大量网络通信,严重占用网络带宽,形成Gossip风暴
  • 解决Gossip风暴问题的最好方法就是使用中心化结构

4.中心化集群结构

Twemproxy代理

  • 通过中间代理的形式,Redis客户端将请求发送到Twemproxy,然后Twemproxy根据数据路由规则将请求发送到正确的Redis节点,最后Twemproxy将请求执行结果汇总并返回给客户端
  • 通过引入Twemproxy作为客户端访问Redis节点的中间代理,为集群提供了数据分片的负载均衡能力,提高了Redis节点的高可用性和可扩展性。
  • 优点:减少客户端与Redis实例连接数,使用方便,核心逻辑在Twemproxy
  • 缺点:管理后台不友好,无法支持平滑的Redis集群扩容

Codis项目

  • 将数据划分为N个槽位(1024个),每个槽位负责存储若干数据(使用CRC32算法)
  • 四大核心组件
    Codis Server:经过二次开发的Redis服务器,支持数据迁移操作。
    Codis Proxy:接收客户端请求并转发给Codis Server,作用与Twemproxy一样,都是中间代理。
    ZooKeeper集群:用于保存Redis集群元信息,包括每个Redis数据分片负责管理的槽位信息、各个Redis节点的地址信息。还保存了Codis Proxy的地址列表,提供Redis客户端访问Redis集群的服务发现能力。
    Codis Dashboard和Codis Fe:共同组成了集群运维管理工具,前者负责Redis集群扩缩容、Codis Proxy集群扩缩容、槽位迁移等,后者负责提供Dashboard的友好Web操作界面。
  • Codis将Redis集群中每个数据分片定义为Redis Server Group。一个Group包括一个Redis Master和若干Slave,用于保证每个数据分片的高可用。

参考

  • 《亿级流量系统架构设计与实战》 李琛轩
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 211,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,347评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,435评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,509评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,611评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,837评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,987评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,730评论 0 267
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,194评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,525评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,664评论 1 340
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,334评论 4 330
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,944评论 3 313
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,764评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,997评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,389评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,554评论 2 349

推荐阅读更多精彩内容