Redis(9):Redis cluster简介

一.redis replication的容量瓶颈问题

        我们知道redis replication+sentiel是单master节点多slave节点的这样一个架构,这样的话就会存在一个容量瓶颈问题。就是说,如果你的master节点的内存容量为16G,那么就算你把所有的内存都给redis使用的话,最大的缓存容量也就是16G,而每个slave节点的数据是跟slave节点是保持一致的,也就是说整个redis replication 集群的缓存容量为16G。当你的数据接近16G的时候,redis就会执行数据过期或淘汰算法,比如LRU。那么客户端再请求那些被清除过的数据的时候,因为redis已经将他清除,这时候就是直接去数据库查询数据,这样就会变相的降低系统的吞吐量,使系统能够承受的并发量变低。

二.使用redis cluster集群架构解决单master的容量瓶颈问题

        我们再使用redis replication的时候,为了提升集群能够承受的QPS我们会水平扩容slave节点,这样就能比较轻松的增加redis replication集群的QPS。对于单master节点的容量瓶颈问题,我们也可以采取这个策略,如果redis集群中的master节点也可以水平扩容的话,是不是就可以增加集群所能缓存的数据容量了。我们使用redis cluster便能够实现这个目标。

三.redis cluster简介 

1.redis cluster它可以支持多个master节点,每个master可以挂载多个slave。

2.它也支持读写分离的架构,对于每个master节点来说,写在master节点,读都会去这个master节点对应的slave节点。

3.redis cluster也能保证高可用性,每个master节点有多个slave节点,那么如果master挂掉,redis cluster会自动切换一个slave为master。

4.在redis cluster架构下,每个redis要放开两个端口号,比如一个是6379,另外一个就是加10000的端口号,比如16379

16379端口号是用来进行节点间通信的,也就是cluster bus集群总线。cluster bus进行通信,用来进行故障检测,配置更新,故障转移授权。

5.cluster bus用了另外一种二进制的协议,主要用于节点间进行高效的数据交换,占用更少的网络带宽和处理时间。

四.redis cluster和redis replication如何选择

        如果你的数据量不大,一般只有几个G,主要是应对高并发的场景,那么你使用redis replication便足够了。但是如果你的数据量很大,那么你就可以选择redis cluster,它不仅可以支撑高并发,高可用,还可以支持海量数据的场景。

五.数据分布算法:hash算法,一致性hash算法+虚拟节点,redis cluster的hash slot算法简介

1.hash算法

        hash算法是比较老的一种数据分布算法,当客户端要读取一个key的时候,先计算这个key的hash值,然后使用这个值对当前master节点的数量进行取模,然后根据结果选择对应的master节点。

hash算法建议图解

hash算法的弊端(大量缓存重建):在运行的时候如果一台master宕机了,那么会造成这台机器上的所有缓存丢失,如果是三台的话,立马就会丢失三分之一的数据。但是这个算法还有一个弊端,如果其中一台master宕机的话,那么当前取模的数量就会减一,这要就会造成结果错位,这是什么意思呢?就是说本来有三台master节点,其中一台宕机了,那么现在就以2取模,宕机发生的时候三分之一的数据就已经没有了,现在以2取模,本来结果为2的key说不定就会被指向其他的master,那么这部分数据还是会取不到,直接造成大量的请求直接去数据库拿数据。所以传统的hash算法多用在数据库分库分表上,对应高并发的缓存存储会有不小的问题,对于高并发场景是不能接受的。

2.一致性hash算法(自动缓存迁移)+虚拟节点(自动负载均衡)

一致性hash算法的原理如下图所示:

一致性hash算法的原理简介

一致性hash算法的弊端:

一致性hash算法的弊端

使用虚拟节点来解决热点数据问题

虚拟节点解决数据热点问题

3.redis cluster的hash slot 算法

        redis cluster有固定的16384个hash slot,对每个key计算CRC16值,然后对16384取模,可以获取key对应的hash slot,redis cluster中每个master都会持有部分slot,比如有3个master,那么可能每个master持有5000多个hash slot,hash slot让node的增加和移除很简单,增加一个master,就将其他master的hash slot移动部分过去,减少一个master,就将它的hash slot移动到其他master上去,移动hash slot的成本是非常低的。

redis hash slot 原理简介

        redis cluster 使用的hash  slot算法可以使请求均匀的打在每台master上,即使一台服务器宕机,短时间内这台宕机的master上的数据不能访问,但是redis cluster会快速的将这台master上的hash slot 转移到别的master上,其他master上的数据并不会受到影响,因为每个key都有它对应的hash slot,而且移动这些hash slot速度很快,成本也很低。

        如果你想要指定数据走指定的hash slot,redis cluster 也会有相应的API可以实现,通过hash tag实现。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,185评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,445评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,684评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,564评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,681评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,874评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,025评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,761评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,217评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,545评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,694评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,351评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,988评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,778评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,007评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,427评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,580评论 2 349

推荐阅读更多精彩内容