一致性hash

背景

传统hash中,假定n个节点,用mod的方式,会导致增减节点的时候,大量的key都会打到新的节点,影响效率

一致性hash特点

这个直接参照refer了

均衡性(Balance):将关键字的哈希地址均匀地分布在地址空间中,使地址空间得到充分利用,这是设计哈希的一个基本特性。

单调性(Monotonicity): 单调性是指当地址空间增大时,通过哈希函数所得到的关键字的哈希地址也能映射的新的地址空间,而不是仅限于原先的地址空间。或等地址空间减少时,也是只能映射到有效的地址空间中。简单的哈希函数往往不能满足此性质。

分散性(Spread): 哈希经常用在分布式环境中,终端用户通过哈希函数将自己的内容存到不同的缓冲区。此时,终端有可能看不到所有的缓冲,而是只能看到其中的一部分。当终端希望通过哈希过程将内容映射到缓冲上时,由于不同终端所见的缓冲范围有可能不同,从而导致哈希的结果不一致,最终的结果是相同的内容被不同的终端映射到不同的缓冲区中。这种情况显然是应该避免的,因为它导致相同内容被存储到不同缓冲中去,降低了系统存储的效率。分散性的定义就是上述情况发生的严重程度。好的哈希算法应能够尽量避免不一致的情况发生,也就是尽量降低分散性。

负载(Load): 负载问题实际上是从另一个角度看待分散性问题。既然不同的终端可能将相同的内容映射到不同的缓冲区中,那么对于一个特定的缓冲区而言,也可能被不同的用户映射为不同的内容。与分散性一样,这种情况也是应当避免的,因此好的哈希算法应能够尽量降低缓冲的负荷。

原理

如何根据key找到key要存在哪个节点上,分为几步:

1.构建[0,2^32)的hash空间,构成一个hash环
2.构建节点,根据节点唯一标识将其hash成一个整形在hash空间内
3.获取key的hash值,
4.从该对象开始,沿着哈希环顺时针方向查找,找到的第一个节点成为映射节点

新增,删除,以及虚拟节点可以直接参照refer比较简单,并且可以针对源码理解,下面提出几个思考

思考

一致性hash是绝对均衡吗?

不,比如只有两个节点的时候,分界点并不是2^31,而是A机器标识的hash

同节点的虚拟节点,对应的hash空间是连续的吗

image.png

图中的例子是连续的,但是真实构建并不保证,以为都是虚拟节点标识去hash,不保证属于同样物理节点的虚拟节点,他们的hash值是串起来的
所以可能出现 A#1,B#2,A#2,B#1这样乱序的虚拟节点

新增节点如何保证均衡性?

我一开始以为是将之前最大的区间再平均分等等方法,发现我是错的。
保证均衡性都是通过足够的虚拟节点,来保证平均。
所以是现有节点的hash值再有分区,不是为了均衡性,保证
[0,2^31] 属于A节点负责,(2^31, 2^32) 由B节点负责,No!

refer:

https://kefeng.wang/2018/08/10/consistent-hashing/

https://juejin.im/post/5ae1476ef265da0b8d419ef2

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容