Redis的5种类型对象与底层实现

Redis的5种类型对象与底层实现

redis在日常coding中使用的场景越来越多,关于redis的背景铺垫就不在此赘述,献上官方介绍。

Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache and message broker. It supports data structures such as strings, hashes, lists, sets, sorted sets with range queries, bitmaps, hyperloglogs, geospatial indexes with radius queries and streams. Redis has built-in replication, Lua scripting, LRU eviction, transactions and different levels of on-disk persistence, and provides high availability via Redis Sentinel and automatic partitioning with Redis Cluster.


本篇主要讲解redis的五种类型对象及底层的实现原理,并简单总结redis在实现过程中的部分优化方式。

redis的对象都可以用以下结构表示

typedef struct redisObject{
   //类型
   unsigned tyep:4;
   //编码
   unsingned encoding:4;
   //指向底层实现的数据结构的指针
   void *ptr;
   //...
}

其中的类型属性(type)即我们通常说的五种类型对象分别为:STRING,LIST,HASH,SET以及ZSET。而encoding属性记录对象所使用的编码,即底层的实现,每种类型属性都对应着两种以上编encoding属性。Redis的类型与底层编码共有以下的对应关系

类型对象 编码 中文释义
STRING INT 使用整数值实现的对象
STRING EMBSTR 使用embstr编码的sds字符串对象
STRING RAW sds
LIST ZIPLIST 压缩列表
LIST LIKEDLIST 双端列表
HASH ZIPLIST 压缩列表
HASH HASHTABLE 字典
SET INTSET 整数集合
SET HASHTABLE 字典
ZSET ZIPLIST 压缩列表
ZSET SKIPLIST 跳跃表+字典

String

编码格式

String 的底层实现为int,sds(simple dynamic string)和embrStr,其中embtSds是sds的优化版。其中embstr是只读的,对string对象的任何修改都会使embstr升级为sds.
1、当存储对象为整数,且可以被表现为long类型时,redis会使用int存储对象。
2、当存储对象为string,且长度小于等于32字节时候,会使用embstr存储对象。
3、当存储对象为string,且长度大于32字节时会使用sds存储对象。
embstr与sds的区别在于redisObject对象创建时只生成一次,redisObject与ptr对象排列在一起,而sds编码格式下会生成两次,首先创建redisObject,再创建*ptr对象。

优化点

SDS属于redis实现的str,具有其基本格式如下


sds示例.png

sds具有以下特点
1、存在参数表示sds的长度,求长度时间复杂度O(1)
2、存在预分配策略,新增字段不需要频繁分配内存,不存在缓冲区溢出风险(string小于1M,未分配长度等于已分配长度,string大于1M, 未分配长度为1M),且存在惰性释放的能力。

List

list底层基于linledList和zipList
linkedlist属于双端无环链表

ziplist即压缩列表,当list健对象只存在少量node节点,且每个节点值也比较短,会使用压缩列表作为底层编码。压缩列表的组成如下
压缩列表组成部分.png

单个entry格式如下
压缩节点组成部分.png
其中content为值,previous可以算出前一个节点的位置,encoding表示存储的是int还是string。

为什么说压缩列表的压缩体现在哪里?
如上图所示:字段与字段之间是是紧密排列在一起的,通过previous可以定位到前一个节点,实现从后到前的遍历。而linkedlist通过pre next指针指向下一个节点,两个指针至少占用16个字节。

Hash

hash底层基于ziplist或hashtable
其中ziplist如list中介绍,其中的区别在于作为hash的底层实现时候,key与value紧密存储在一起,其他与作为list底层一致。

hashtable结构如下
hash表结构.png
其中hash表存在一个数组,用来做ReHash用,关于ReHash的操作可以参考相关资料,其中dictht的结构如下
hashtable示意.png
如同所示,hashtable包括包括四个部分,1)table为一个dictEntry的数组,每个dictEntry s包括key,value以及next, 2)size为entry数组的长度,sizemask为长度减一,用来计算在数组中的位置,used表示hashtable目前有的节点数。

Set

set底层基于intSet以及hashTable,其中intSet为只存储数字的结构,关于整数集合结构如下图所示
整数集合.png

而hashTable存储时候,将相关值存储在key上,value为null

ZSet

zset底层基于ziplist以及 skipList与hashTable的结合。其中zipList中集合的元素按分值从小到大排序,分值较小的元素放在左边,元素值与分值紧密排列在一起。

有需集合对象在skipList与hashTable存在格式如下
有序集合同时保存在字典和跳跃表中.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 222,183评论 6 516
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,850评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,766评论 0 361
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,854评论 1 299
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,871评论 6 398
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,457评论 1 311
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,999评论 3 422
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,914评论 0 277
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,465评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,543评论 3 342
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,675评论 1 353
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,354评论 5 351
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 42,029评论 3 335
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,514评论 0 25
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,616评论 1 274
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 49,091评论 3 378
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,685评论 2 360

推荐阅读更多精彩内容