redis集群扩展知识点:一致性hash与hash slot

前言

在阅读公司自主封装的jedis源码过程中,了解到sentinel集群连接多个master,当客户端连接sentinel获取对应key的主节点信息时,用到了一致性hash算法。
而最新版本的redis集群cluster模式下,用的hash slot模式。
所以针对这两个问题,积累一下相关知识点,便于理解。

普通hash

在正常集群分布时,需要对redis的key进行负载均衡,
简单方案,:

  • 1.假设现在有4台服务器
  • 2.对key进行hash并取余,得到对应的数值找到对应的服务器。

存在问题:如果线上4台服务器无法满足需求时,增加一台变成5台,这时候取余的结果跟之前的数值就存在区别,导致对应的key找不到数据,而且这个可能影响大部分的key都找不到。

一致性hash

一致性 Hash 算法通过构建环状的 Hash 空间替线性 Hash 空间的方法解决了这个问题,整个 Hash 空间被构建成一个首位相接的环。


一致性hash.png

如上图,上方两个图为普通hash环,其具体的构造过程为:

  • 1.先构造一个长度为 2^32 的一致性 Hash 环
  • 2.计算每个缓存服务器的 Hash 值,并记录,这就是它们在 Hash 环上的位置
  • 3.对于每个图片,先根据 key 的 hashcode 得到它在 Hash 环上的位置,然后在 Hash 环上顺时针查找距离这个 Key 的 Hash 值最近的缓存服务器节点,这就是该图片所要存储的缓存服务器。

这时,当服务器扩容时,少部分的缓存会命中到新的节点上,其他的并不会受影响。反之,当服务器节点被删除时,只会影响之前映射到当前节点的key,转移到顺时针方向的下一个节点。

但是以上的普通hash环会存在一个问题,当节点移除时,原有节点的数据会全量打到一个节点上,导致那个节点的数据倍增,同理,如果节点新增时,只会影响其中一个节点,其他节点的压力并不会移除。

这时,引入了包含虚拟节点的hash环,扩展整个环上的节点数量,可以将每台物理缓存服务器虚拟为一组虚拟缓存服务器,使得 Hash 环在空间上的分割更加均匀。
如图中下方图,node1x代表节点1,依次类推,通过寻找虚拟节点,然后找到对应的真实节点,只要虚拟节点足够多,节点会更均匀的分布在环上。

此时,新增一个节点,所影响的key会均匀的从其他节点转移到新的节点上,同理删除一个节点,节点上的缓存会均匀的转移到其他节点上。

一致性hash也有一些不足的地方:

  • 1.节点过多,或者更新频繁,查询效率会比较低下。
  • 2.需要一个服务进行负载均衡。

针对这两个问题,redis有几个方案:

  • 1.集群方案,hash slot
    Redis Cluster 通过分片的方式将整个缓存划分为 16384 个槽,每个缓存节点就相当于 Hash 环上的一个节点,接入集群时,所有实例都将均匀占有这些哈希槽,当需要查询一个 Key 是,首先根据 Key 的 hashcode 对 16384 取余来得到 Key 属于哪个槽,并映射到缓存实例上。
    把16384个槽抽象成20个哈希槽位,如果有4个节点,分配的哈希槽为0-4,5-9,10-14,15-19,当新增一个节点时,将每个节点的哈希槽的一部分取出来到第五个节点上,取出0,5,10,15形成新的节点哈希槽。删除也同理
  • 2.中心化
    公司使用sentinel的形式,把sentinel当做中心来对redis进行调度
  • 3.去中心化
    每个节点都保存完整的哈希槽-节点的映射表。
    这样的话,无论向那个节点发出寻找缓存的请求,都会转移到对应的节点上。

hash slot

待补充

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容