Redis分布式算法原理

传统分布式算法

如果有3个redis服务节点,分别是redis0,redis1,redis2 。现在一个资源,对他进行hash之后除3取余,余数分别是0,1,2 ,根据余数将该资源存储到对应的redis节点上。


当有4个redis服务节点,20个资源时,资源的分布情况如下:

此时如果再加入一个redis节点,仍然将这20个资源分配,则新的资源分布情况如下:


此时发现,只有资源1,2,3,20仍然存在redis数量变化前对应的redis节点上。因此此时的命中率为20%,即redis节点数从4个变成5个时,原有资源仍存放在对应redis节点上的概率为20%,剩下80%需要重新分配,影响较大。因此删除或增加一个redis节点,用传统的算法会使大量的缓存丢失,对后台服务器造成大量冲击。数据量达到百万千万级时,如果业务代码是穿透型的,会有大量的数据穿过cache直击DB,把数据库搞垮。


Consistent hashing 一致性算法原理

而一致性hash算法会将value映射在一个32位的keys值中,现在把这个数轴卷起来,形成了一个环形hash空间上。过程则是将对象映射到hash空间中。


现在,考虑4个对象object1~object4,通过hash函数计算出这4个对象的hash值key,落在环形hash空间上。如图:


接下来将cache也通过相同的hash算法,映射到同一个hash数值空间中。


现在是如何将对象存到对应的cache上的问题,在这个环形空间中,每个object都沿顺时针存储到里他最近的cache上,又因为每个对象和cache都是通过相同的hash算法得到,他们在这个环形空间的位置会是固定的,因此则会形成如下存储关系:

cacheA :object1

cacheB:object4

cacheC:object3,object2

如果此时架构变动,移除一个cache节点B,此时产生变化的object4将会存储到cacheC上。因此,产生影响的范围是cacheB与cacheA之间的范围,影响相对小很多。

而此时如果不是移除节点,而是新增一个节点cacheD,object2不在存放在cacheC上,而是会存放到cacheD上,此时影响的范围也知会在cacheB到cacheD之间。所以无论增加或删除一个节点,影响的范围都是很小的。



Hash倾斜性

但是hash算法又有倾斜性,上图中ABC3个cache节点分布的都比较均匀,而实际的情况会是如下图所示,ABC他们可能会挨得非常紧。从图中来看将会有大量的数据落在A上,不具有随机性,3个cache节点的负载性能都不均匀。


虚拟节点

因此需要增加虚拟节点。每个cache节点都会生成一个虚拟节点,并重新hash,重新散布到环形hash空间上,如下图,相对均匀了一些。



但即便是增加虚拟节点,还是会出现hash倾斜性的问题。的确,因此实际编码过程中配置一定的虚拟节点与真实节点的比例,随着数据越来越多,虚拟节点越来越低,使影响降到最低。


Consistent hashing命中率

命中率计算公式:

(1-n/(n+m))*100%

服务器台数是n,而新增的服务器台数是m。当变动的服务器台数m越大,命中率越大,所以在变动时影响越来越小。当分布式集群越来越大时,一致性hash算法的优势就越明显。


redis分布式运用

redis分布式连接池取的ShardedJedis对象,而这个对象最终继承自Sharded,源码中也可以看出,初始化分块时,会有160乘以权重的虚拟节点。一般场景中会设置100-500个虚拟节点。



分布式与集群的区别

集群是一种物理配置;

分布式是一种工作方式。

分布式是以缩短单个任务的执行时间来提升效率的;

集群是通过提高单位时间内执行的任务数来提升效率的。

偶然看到下图,觉得十分形象。


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,233评论 6 495
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,357评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,831评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,313评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,417评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,470评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,482评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,265评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,708评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,997评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,176评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,827评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,503评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,150评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,391评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,034评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,063评论 2 352

推荐阅读更多精彩内容