聊一聊Redis之数据结构

基本数据结构

简单动态字符串

Redis中的字符串使用“简单动态字符串”(SDS)表示,无论是字符串值还是键底层都采用“简单动态字符串”。

free:未使用空间大小;

len:字符串长度;

buf:以空字符结尾的char数组。

为了减少内存重新分配次数,SDS做出了以下优化:

空间预分配:额外分配的未使用空间数量由以下公式决定: 如果对SDS进行修改之后,SDS的长小于1MB,那么程序分配和len 属性同样大小的未使用空间, 如果对SDS进行修改之后,SDS的长度将大于等千1MB, 那么程序会分配 1MB 的未使用空间。

惰性空间释放:程序并不立即使用内存重分配来回收缩短后多出来的字节,而是使用free属性将这些字节的数量记录起来,并等待将来使用。

链表

链表是Redis列表键实现之一,也是很多其他功能实现的基础,链表节点定义如下:

链表的完整结构体定义如下

head为表头指针;

tail为表尾指针;

len为链表长度计数器;

dup为函数指针,用于复制链表节点所保存的值;

free为函数指针,用于释放链表节点所保存的值;

match为函数指针,则用于对比链表节点所保存的值和另一个输入值是否相等。

字典

字典将键和值进行关联,当哈希键中的键值对数量比较多,或者键值对中的元素比较大的时候,采用字典作为底层实现。字节的数据结构如下

哈希表结构dict中,table属性是一个数组,每个元素都是指向dictEntry结构的指针,size属性记录了哈希表的大小,sizemask属性的值总是等于size-1,而used属性则记录了哈希表目前已有节点(键值对)的数量。

字典结构dictType中有两个哈希表ht[0]和ht[1],ht[l]哈希表只会在对 ht[0]哈希表进行rehash时使用,rehashidx它记录了rehash目前的进度。type属性是一个指向dictType结构的指针,dictType结构保存了一簇用于操作特定类型键值对的函数,例如计算哈希值、复制键、复制值、对比键、销毁键和销毁值的函数。而privdata属性则保存了需要传给那些类型特定函数的可选参数。

为了让哈希表的负载因子维持在一个合理的范围之内,当哈希表保存的键值对数量太多或者太少时,程序需要对哈希表的大小进行相应的扩展或者收缩。

如果执行的是扩展操作,那么ht[l]的大小为第一个大于等于ht[0].used*2的;

如果执行的是收缩操作,那么ht[1]的大小为第一个大于等于ht[O].used的。

字典采用渐进式rehash,好处在千它采取分而治之的方式,将 rehash键值对所需的计算工作均摊到对字典的每个添加、删除、查找和更新操作上。

跳跃表

跳跃表可以用于有序集合键的底层实现,数据结构如下

zskiplist结构包含以下属性:

header: 指向跳跃表的表头节点。

tail: 指向跳跃表的表尾节点。

level: 记录目前跳跃表内,层数最大的那个节点的层数。

length: 记录跳跃表的长度。

zskiplistNode 结构,该结构包含以下属性:

层 (level) : 每个层都带有两个属性:前进指针和跨度。前进指针用于 访问位于表尾方向的其他节点,而跨度则记录了前进指针所指向节点和当前节点的 距离。

后退 (backward) 指针:指向位于当前节点的前一个节点。

分值 (score): 节点按各自所保存的分值从小到大排列。

成员对象 (obj): 节点所保存的成员对象。

整数集合

当一个集合只包含整数值元素,并且这个集合的元素数董不多时, Redis 就会使用整数集合作为集合键的底层实现。

contents数组是整数集合的底层数据存放位置,各个项在数组中按值的大小从小到大有序地排列,并且数组中不包含任何重复项。length属性记录了整数集合包含的元素数量,encoding属性决定了整数类型(INTSET_ENC_INT16/INTSET_ENC_INT32/INTSET_ENC_INT64)。新元素的类型比整数集合现有所有元素的类型都要长时,整数集合需要先进行升级。

压缩链表

如果列表键或者哈希键包含的元素比较少,那么会采用压缩列表作为底层实现。

entryX的数据结构如下

节点的previous_entry_length记录了压缩列表中前一个节 点的长度,节点的encoding属性记录了节点的content属性所保存数据的类型以及长度,节点的content属性负责保存节点的值。

数据结构和对象

Redis对象的结构体定义如下

而对象具体使用的数据结构可以用OBJECT ENCODING命令获取。

不同类型的对象的编码选择规则如下:

字符串对象

如果一个字符串对象保存的是整数值,并且这个整数值可以用 long 类型来表示,那么 字符串对象会将整数值保存在字符串对象结构的 ptr 属性里面

如果字符串对象保存的是一个字符串值,并且这个字符串值的长度大于 32 字节,那么 字符串对象将使用一个简单动态字符串 (SDS) 来保存这个字符串值

如果字符串对象保存的是一个字符串值,并且这个字符串值的长度小千等于 32 字节, 那么字符串对象将使用 embstr 编码的方式来保存这个字符串值。

列表对象

当列表对象可以同时满足以下两个条件时,列表对象使用ziplist编码:

列表对象保存的所有字符串元素的长度都小千 64 字节;

列表对象保存的元素数量小千 512 个;

不能满足这两个条件的列表对象需要使用 linkedlist 编码。

恰希对象

当哈希对象可以同时满足以下两个条件时,哈希对象使用 ziplist 编码:

哈希对象保存的所有键值对的键和值的字符串长度都小千 64 字节;

哈希对象保存的键值对数量小千 512 个;

不能满足这两个条件的哈希对象需要使用 hash able 编码。

集合对象

当集合对象可以同时满足以下两个条件时,对象使用 intset 编码: 集合对象保存的所有元素都是整数值;

集合对象保存的元素数量不超过 512 个。

不能满足这两个条件的集合对象需要使用 hash table 编码。

有序集合对象

当有序集合对象可以同时满足以下两个条件时,对象使用ziplist编码:

有序集合保存的元素数量小于 128 个;

有序集合保存的所有元素成员的长度都小于 64 字节;

不能满足以上两个条件的有序集合对象将使用skiplist编码。

有序集合对象在维护skiplist的同时,使用了dict,使得能够快速完成成员查询。

最后:

上面都是自己整理好的!我就把资料贡献出来给有需要的人!顺便求一波关注。

学习我们是认真的,拿大厂offer是势在必得的。java(想了解更多点一下哦)

作者:zhenghaoz

链接:https://juejin.im/post/5e44e0876fb9a07c96458b41

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,233评论 6 495
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,357评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,831评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,313评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,417评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,470评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,482评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,265评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,708评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,997评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,176评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,827评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,503评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,150评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,391评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,034评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,063评论 2 352

推荐阅读更多精彩内容