Redis基础数据结构-整数集合

正文

整数集合(intset)是集合键的底层实现之一,当一个集合只包含整数值元素,并且这个集合的元素数量不多时,Redis就会使用整数集合作为集合键的底层实现。

1.Redis中整数集合的实现

  整数集合(intset)是Redis用于保存整数值的集合抽象数据结构,它可以保存类型为 int16_t, int32_t或者int64_t的整数值,并且保证集合中不会出现重复元素。
  每个intset.h/inset结构表示一个整数集合:

typedef struct intset (
//编码方式
uint32_t encoding;
//集合包含的元素数量
uint32_t length;
//保存元素的数组
int8_t contents[];
} intset;

  contents数组是整数集合的底层实现:整数集合的每个元素都是contents数组的 一个数组项(item ),各个项在数组中按值的大小从小到大有序地排列,并且数组中不包含任何重复项。
  length属性记录了整数集合包含的元素数量,也即是contents数组的长度。

虽然intset结构将contents属性声明为int8_t类型的数组,但实际上contents数组并不保存任何int8_t类型的值,contents数组的真正类型取决于encoding属性的值:

  • 如果encoding属性的值为INTSET_ENC_INT16,那么contents就是一个 int16_t类型的数组,数组里的每个项都是一个int16_t类型的整数值(最小值 为-32768,最大值为32767)
  • 如果encoding属性的值为INTSET_ENC_INT32 ,那么contents就是一个 int32_t类型的数组,数组里的每个项都是一个int32_t类型的整数值(最小值 为-2147483 648,最大值为 2147483647)。
  • 如果 encoding属性的值为 INTSET_ENC_INT64,那么 contents 就是一个 int64_ t类型的数组,数组里的每个项都是一个int64_t类型的整数值(最小值为-9223372036854775808,最大值为 9223372036854775807)

如下图所示的整数集合当中:


image.png
  • encoding属性的值为 INTSET_ ENC_INT16,表示整数集合的底层实现为int16_t类 型的数组,而集合保存的都 是int16_t类型的整数值。
  • length属性的值为5,表示 整数集合包含五个元素。
  • contents数组按从小到大的顺序保存着集合中的五个元素。
  • 因为每个集合元素都是int16_t类型的整数值,所以contents数组的大小等于
    sizeof(int16_t)*5 = 16 * 5 = 80位

2.升级

  每当我们要将一个新元素添加到整数集合里面,并且新元素的类型比整数集合现有所有元素的类型都要长时,整数集合需要先进行升级(upgrade ),然后才能将新元素添加到整数集合里面。
  升级整数集合并添加新元素共分为三步进行:

  • 根据新元素的类型,扩展整数集合底层数组的空间大小,并为新元素分配空间。
  • 将底层数组现有的所有元素都准换成与新元素相同的类型,并将类型转换后的元素放置到正确的位置上,而且在放置元素的过程中,需要继续维持底层数组的有序性质不变。
  • 将新元素添加到底层数组里面

举个例子:

现在有这么一个整数集合:
  

image.png

  集合里面包含了3个int16_t类型的元素。因为每个元素都占用16位空间,所以整数集合底层数组的大小为3*16=48位


image.png

  假如现在我们要把类型为int32_t的整数值65535添加到整数集合里面,因为65535的类型int32_t比当前整数集合所有的元素类型都要长,所以在将65535添加到整数集合之前,程序需要先对整数集合进行升级。

  升级首先要做的第一步就是根据新类型的长度以及集合元素的数量(包括待添加的元素在内),对底层数组进行空间重分配。
  整数集合目前有三个元素,再加上新元素65535,整数集合需要分配四个元素的空间, 因为每个int32_t整数值需要占用32位空间,所以在空间重分配之后,底层数组的大小将是32 * 4 = 128位。

刚开始的时候虽然整数集合进行了内存重分配,但数组原有的元素还是16位的,这些元素还保存在数组的前48位里面,所以接下来的工作就是将这三个元素转换成int32_t类型,并将转换后的元素放置到正确的位置上面,而且在放置元素的过程中,需要维持底层数组的有序性质不变

下图展示了刚进行内存重分配之后的数组:


image.png

  首先,元素3在 1、2、3、65535四个元素中排名第3,所以它被移动到索引2的位置上,也就是数组64位至95位的空间内:


image.png

  接下来,因为元素2在这几个元素中排名第2所以被移动到索引1的位置上,也就是数组32位至63位的空间内:


image.png

  然后,元素1排名第一,所以它被移动到索引1的位置上,对应的内存地址是0-31


image.png

  最后,65535排在第4,所以它被添加到索引3的位置上,对应的内存地址是:96-127


image.png

  FINAL ,最最后的工作是将整数集合encoding属性的值从INTSET_ENC_INT16改为INTSET_ ENC_INT32,并将length属性的值从3改为4

image.png

  因为每次向整数集合添加新元素都可能会引起升级,而每次升级都需要对底层数组中已有的所有元素进行类型转换,所以向整数集合添加新元素的时间复杂度为O(N)

  由于可以引发升级的新元素要么比当前元素的所有类型都大,要么就比当前元素的所有类型都小。
   在新元素小于所有现有元素的情况下,新元素会被放置在底层数组的最开头(索引0)
  在新元素大于所有现有元素的情况下,新元素会被放置在底层数组的最末尾 (索引 length-1 )

2.1升级的好处

整数集合的升级策略有两个好处,一个是提升整数集合的灵活性,另一个是尽可能地节约内存。

2.1.1灵活性

   因为c语言是静态类型语言,为了避免类型错误,我们通常不会将两种不同类型的值 放在同一个数据结构里面。
   例如,我们一般只使用int16_t类型的数组来保存int16_t类型的值,只使用 int32_t类型的数组来保存int32_t类型的值

因为整数集合可以通过自动升级底层数组来适应新元素,所以我们可以随意地将 int16_t、int32_t或者int64_t类型的整数添加到集合中,而不必担心出现类型错误, 这种做法非常灵活。

2.1.2节约内存

   要让一个数组可同时存储int16_t, int32_t、int64_t三种类型的值最简单粗暴的方法是直接使用一个int64_t类型的数组作为整数集合的底层实现
   但是这么做的话,即使添加到整数集合里面的都是int16_t类型或者int32_t类型的值,数组都需要使用 int64_t类型的空间去保存它们,从而出现浪费内存的情况。
   而整数集合现在的做法既可以让集合能同时保存三种不同类型的值,又可以确保升级操作只会在有需要的时候进行,这可以尽量节省内存

3.降级

   整数集合不支持降级操作,一旦对数组进行了升级,编码就会一直保持升级后的状态。

总结

  1. 整数集合是集合键的底层实现之一
  2. 整数集合的底层实现为数组,这个数组以有序、无重复的方式保存集合元素,在有需要时,程序会根据新添加元素的类型,改变这个数组的类型。
  3. 升级操作为整数集合带来了操作上的灵活性,并且尽可能地节约了内存
  4. 整数集合只支持升级操作,不支持降级操作

问题抽象

  1. 整数集合是啥?
  2. Redis什么时候才会用整数集合?
  3. 整数集合的类型和什么有关?
  4. 整数集合的升级机制有了解吗?
  5. 整数集合支持降级吗?
  6. 升级有什么好处?
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,539评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,911评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,337评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,723评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,795评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,762评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,742评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,508评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,954评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,247评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,404评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,104评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,736评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,352评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,557评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,371评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,292评论 2 352

推荐阅读更多精彩内容