正文
整数集合(intset)是集合键的底层实现之一,当一个集合只包含整数值元素,并且这个集合的元素数量不多时,Redis就会使用整数集合作为集合键的底层实现。
1.Redis中整数集合的实现
整数集合(intset)是Redis用于保存整数值的集合抽象数据结构,它可以保存类型为 int16_t, int32_t或者int64_t的整数值,并且保证集合中不会出现重复元素。
每个intset.h/inset结构表示一个整数集合:
typedef struct intset (
//编码方式
uint32_t encoding;
//集合包含的元素数量
uint32_t length;
//保存元素的数组
int8_t contents[];
} intset;
contents数组是整数集合的底层实现:整数集合的每个元素都是contents数组的 一个数组项(item ),各个项在数组中按值的大小从小到大有序地排列,并且数组中不包含任何重复项。
length属性记录了整数集合包含的元素数量,也即是contents数组的长度。
虽然intset结构将contents属性声明为int8_t类型的数组,但实际上contents数组并不保存任何int8_t类型的值,contents数组的真正类型取决于encoding属性的值:
- 如果encoding属性的值为INTSET_ENC_INT16,那么contents就是一个 int16_t类型的数组,数组里的每个项都是一个int16_t类型的整数值(最小值 为-32768,最大值为32767)
- 如果encoding属性的值为INTSET_ENC_INT32 ,那么contents就是一个 int32_t类型的数组,数组里的每个项都是一个int32_t类型的整数值(最小值 为-2147483 648,最大值为 2147483647)。
- 如果 encoding属性的值为 INTSET_ENC_INT64,那么 contents 就是一个 int64_ t类型的数组,数组里的每个项都是一个int64_t类型的整数值(最小值为-9223372036854775808,最大值为 9223372036854775807)
如下图所示的整数集合当中:
- encoding属性的值为 INTSET_ ENC_INT16,表示整数集合的底层实现为int16_t类 型的数组,而集合保存的都 是int16_t类型的整数值。
- length属性的值为5,表示 整数集合包含五个元素。
- contents数组按从小到大的顺序保存着集合中的五个元素。
- 因为每个集合元素都是int16_t类型的整数值,所以contents数组的大小等于
sizeof(int16_t)*5 = 16 * 5 = 80位
2.升级
每当我们要将一个新元素添加到整数集合里面,并且新元素的类型比整数集合现有所有元素的类型都要长时,整数集合需要先进行升级(upgrade ),然后才能将新元素添加到整数集合里面。
升级整数集合并添加新元素共分为三步进行:
- 根据新元素的类型,扩展整数集合底层数组的空间大小,并为新元素分配空间。
- 将底层数组现有的所有元素都准换成与新元素相同的类型,并将类型转换后的元素放置到正确的位置上,而且在放置元素的过程中,需要继续维持底层数组的有序性质不变。
- 将新元素添加到底层数组里面
举个例子:
现在有这么一个整数集合:
集合里面包含了3个int16_t类型的元素。因为每个元素都占用16位空间,所以整数集合底层数组的大小为3*16=48位
假如现在我们要把类型为int32_t的整数值65535添加到整数集合里面,因为65535的类型int32_t比当前整数集合所有的元素类型都要长,所以在将65535添加到整数集合之前,程序需要先对整数集合进行升级。
升级首先要做的第一步就是根据新类型的长度以及集合元素的数量(包括待添加的元素在内),对底层数组进行空间重分配。
整数集合目前有三个元素,再加上新元素65535,整数集合需要分配四个元素的空间, 因为每个int32_t整数值需要占用32位空间,所以在空间重分配之后,底层数组的大小将是32 * 4 = 128位。
刚开始的时候虽然整数集合进行了内存重分配,但数组原有的元素还是16位的,这些元素还保存在数组的前48位里面,所以接下来的工作就是将这三个元素转换成int32_t类型,并将转换后的元素放置到正确的位置上面,而且在放置元素的过程中,需要维持底层数组的有序性质不变
下图展示了刚进行内存重分配之后的数组:
首先,元素3在 1、2、3、65535四个元素中排名第3,所以它被移动到索引2的位置上,也就是数组64位至95位的空间内:
接下来,因为元素2在这几个元素中排名第2所以被移动到索引1的位置上,也就是数组32位至63位的空间内:
然后,元素1排名第一,所以它被移动到索引1的位置上,对应的内存地址是0-31
最后,65535排在第4,所以它被添加到索引3的位置上,对应的内存地址是:96-127
FINAL ,最最后的工作是将整数集合encoding属性的值从INTSET_ENC_INT16改为INTSET_ ENC_INT32,并将length属性的值从3改为4
因为每次向整数集合添加新元素都可能会引起升级,而每次升级都需要对底层数组中已有的所有元素进行类型转换,所以向整数集合添加新元素的时间复杂度为O(N)
由于可以引发升级的新元素要么比当前元素的所有类型都大,要么就比当前元素的所有类型都小。
在新元素小于所有现有元素的情况下,新元素会被放置在底层数组的最开头(索引0)
在新元素大于所有现有元素的情况下,新元素会被放置在底层数组的最末尾 (索引 length-1 )
2.1升级的好处
整数集合的升级策略有两个好处,一个是提升整数集合的灵活性,另一个是尽可能地节约内存。
2.1.1灵活性
因为c语言是静态类型语言,为了避免类型错误,我们通常不会将两种不同类型的值 放在同一个数据结构里面。
例如,我们一般只使用int16_t类型的数组来保存int16_t类型的值,只使用 int32_t类型的数组来保存int32_t类型的值
因为整数集合可以通过自动升级底层数组来适应新元素,所以我们可以随意地将 int16_t、int32_t或者int64_t类型的整数添加到集合中,而不必担心出现类型错误, 这种做法非常灵活。
2.1.2节约内存
要让一个数组可同时存储int16_t, int32_t、int64_t三种类型的值最简单粗暴的方法是直接使用一个int64_t类型的数组作为整数集合的底层实现
但是这么做的话,即使添加到整数集合里面的都是int16_t类型或者int32_t类型的值,数组都需要使用 int64_t类型的空间去保存它们,从而出现浪费内存的情况。
而整数集合现在的做法既可以让集合能同时保存三种不同类型的值,又可以确保升级操作只会在有需要的时候进行,这可以尽量节省内存
3.降级
整数集合不支持降级操作,一旦对数组进行了升级,编码就会一直保持升级后的状态。
总结
- 整数集合是集合键的底层实现之一
- 整数集合的底层实现为数组,这个数组以有序、无重复的方式保存集合元素,在有需要时,程序会根据新添加元素的类型,改变这个数组的类型。
- 升级操作为整数集合带来了操作上的灵活性,并且尽可能地节约了内存
- 整数集合只支持升级操作,不支持降级操作
问题抽象
- 整数集合是啥?
- Redis什么时候才会用整数集合?
- 整数集合的类型和什么有关?
- 整数集合的升级机制有了解吗?
- 整数集合支持降级吗?
- 升级有什么好处?