Redis压缩表、跳跃表?拿来吧你

本文主要用来学习下,redis当中使用的压缩表跳跃表,为什么在诸多的数据结构中,redis要选择他们作为自己的数据存储结构。

什么是压缩表?

压缩表是Redis为了节约内存而开发的,是由一系列特殊编码的连续内存块组成的顺序型(sequential)数据结构。一个压缩列表可以包含任意多个节点(entry),每个节点可以保存一个字节数组或者一个整数值。

压缩表的构成

压缩表的构成如下所示:

压缩表各构成部分的含义说明:

属性 用途
zlbytes 记录整个压缩表占用的字节数;在对压缩列表进行内存重分配或者计算zlend时使用
zltail 记录压缩表尾结点距离起始节点的字节距离
zllen 记录压缩表包含的节点数量
entry 压缩表的节点,长度由其内容决定
zlend 标记压缩表末端

压缩表节点(entry)的构成

每个节点由以下三个部分组成:

其中三个部分的含义分别是:

属性 用途
previous_entry_length 以字节为单位,记录前一个节点的长度。程序可以通过指针运算,根据当前节点的起始地址来计算出前一个节点的起始地址。从表尾向表头遍历操作就是通过这样原理实现的。
encoding 记录了节点的content属性所保存数据的类型以及长度
content 保存节点的值,节点值可以是一个字节数组或者整数,值的类型和长度由节点的encoding属性决定

连锁更新问题

在前面介绍previous_entry_length的时候,有一点没有详细说明:

  • 如果前一节点的长度小于254字节,那么previous_entry_length属性需要用1字节长的空间来保存这个长度值。

  • 如果前一节点的长度大于等于254字节,那么previous_entry_length属性需要用5字节长的空间来保存这个长度值。

正是由于这样的设计,从而会导致连锁更新问题。

假设有 entry1 到 entryN 个节点,每个节点的字节长度都在 250 到 253 之间,则每个节点的previous_entry_length存储的长度都是1。

如果此时 new 一个大于254的节点被压入压缩表的头部,那么这个 new 将成为 e1 前面的头结点。此时e1的previous_entry_length只有1字节,无法保存前一节点new的5字节长度,所以需要将e1的长度扩大为254 ~ 257

同样的,对于e2来说,需要如e1一样增加容量才行。直到eN,都需要重新分配空间,这一种连续扩展空间的操作被称之为连锁更新

其实连锁更新造成的性能损耗的几率是很低的,实际使用过程中几乎不会出现我们上面提到的极端环境,即使少量的连锁更新,也可以忽略不计

什么是跳跃表?

跳跃表(skiplist)是一种有序数据结构,它通过在每个节点中维持多个指向其他节点的指针,从而达到快速访问节点的目的。

跳跃表的时间复杂度是平均O(logN)最坏O(N)

实现有序集合的方式有很多,为什么redis选择跳跃表?

  • 数组:数组元素插入、删除不便
  • 链表:查询元素效率低
  • 平衡树:实现复杂

大多数情况下,跳跃表的效率可以和和平衡树媲美,而其实现相对平衡树要简单,所以很多情况下用跳跃表去替代平衡树

跳跃表的构成

跳跃表在redis当中由两部分构成:

  • zskiplistNode:跳跃表节点
  • zskiplist:保存跳跃表节点信息

跳跃表的模型如下所示:

如上图所示:

  • 蓝色的是zskiplist结构
  • 其他四个绿色的是zskiplistNode结构

zskiplist结构介绍

在前面的图上我们看到zskiplist包含四个部分:

  • header:指向跳跃表头结点
  • tail:指向跳跃表的尾结点
  • level:记录跳跃表中层数最大的节点层数。(注意:头结点固定高度为32,初始全部指向NULL,且不被levle记录层高)
  • length:记录跳跃表长度,即包含几个节点。(头结点除外)

使用多个节点就可以作为跳跃表,那么为什么还需要zskiplist

实际通过zskiplist的结构就可以得出:

  • headertail:快速访问跳跃表的头或尾节点,且时间复杂度是O(1),否则可能需要遍历至少大于等于1次。
  • length:快速获取长度(即节点数量),时间复杂度都O(1),否则需要遍历整个跳跃表。
  • level:用来快速获取最高节点层数,时间复杂度是O(1)

可以帮助我们方便、快速的处理跳跃表。

zskiplistNode结构介绍

在前面的图我们看到zskiplistNode包含四种部分:

  • Level:层,即以L开头的部分。Level包含两个部分前进指针跨度。表头向表位遍历时,会沿着前进指针前进。

    • 前进指针:指向表尾方向的其他节点
    • 跨度:当前节点距离指向节点的距离,即上图箭头上的数字。

    每当有一个新的节点加入跳跃表,程序根据幂次法则生成一个介于1和32之间的值作为level的大小,即层的高度。

  • backward:后退指针,即BW。指向当前节点的前一个节点,当从表尾向表头遍历时被使用。

  • score:分值,即1.0、2.0、3.0。在跳跃表中会按照分值从小到大排列。

  • object:成员对象,即o1、o2、o3。当分值相同时,按照成员对象进行排序

表头节点也有backward、score、object,但是不会使用。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容