Redis的数据结构与对象——简单动态字符串SDS

前言:

redis是用C写的,但是并没有使用C语言的传统字符串,C语言传统字符串是以\0为结尾的字符数组。而是使用简单动态字符串(simple dynamic string,SDS)作为redis默认字符串的表示。SDS除了是字符串对象的底层实现,还作为缓冲区(buffer):AOF模块中的AOF缓冲区,客户端状态中的输入缓冲区等等。

一、定义

每个sds.h/sdshdr结构体表示一个SDS值:

struct sdshdr {

int len;// 记录buf数组中已经使用字节的数量,等于SDS所保存字符串的长度。

int free;// 记录buf数组中未使用字节的数量。

char buf [ ];// 字符数组,用于保存字符串。

}




其中:

1、buf数组最后一个字节仍然会是\0

2、SDS遵守 C字符串已空字符串结尾的惯例,空字符串不记在len属性上。添加\0空字符串到所要保存的字符串末尾都是SDS函数自动完成的。遵守这一惯例的好处是,SDS可以重用一部分C字符串数据库的函数。


二、SDS与C字符串的区别

2.1、常数复杂度获取字符串长度

    C字符串获取字符串长度的时间复杂度是O(N),而SDS获取字符串长度只需要访问len属性,时间复杂度是O(1)。确保了STRLEN等获取字符串的操作不会成为限制redis性能的瓶颈。

2.2、杜绝缓冲区溢出

    C字符串本身不记录自身的长度,另一个问题就是容易造成缓冲区溢出。比如strcat函数,一般写C语言都会先分配连个字符串长度和的内存空间,但是如果你忘了,会造成缓冲区溢出。

    SDS则杜绝了这种现象,API会先检查SDS的空间是否满足所需的修改,如果不满足,API会自动扩展SDS的空间 。

2.3、减少修改字符串时带来的内容重分配次数

    这是最为关键的一个原因。redis会经常修改字符串。因为C字符串的长度和底层数据的长度之间存在N+1的关联,如果每次增长或者缩短一个C字符串,程序都总要对这个保存C字符串的数组进行一次内存分配。比如:

1、增长一个字符串append,执行操作之前要内存重分配来扩展底层数组大小,如果忘了还会造成缓冲区溢出。

2、阶段操作trim,程序需要通过内存重分配还释放掉那些不再使用的内存空间。

由于内存重分配设计非常复杂的算法,并且可能需要执行系统调用,所以通常是一个非常耗时的操作。如果操作较次数较少还好,但是redis作为数据库,经常被用于速度要求严苛、数据频繁修改的场合,如果继续使用C字符串,那单单是内存分配就会占去修改字符串所用时间的一大部分,如果这种修改非常频繁,可能还会对性能造成瓶颈。

2.3.1、空间预分配

    用于优化SDS的字符串增长操作。当SDS的API对SDS需要进行空间扩展的时候,程序不仅会为SDS分配所需的空间,还会为SDS分配额外的未使用空间

    公式如下:

    1、如果最终长度小于1MB,那么会额外分配和len相同的空间

    2、如果最终长度大于1MB,那么会额外分配1MB的空间

    通过这种预分配策略,SDS将连续增长N词字符串所需的内存重分配次数从 必定N次减少为最多N次。

2.3.2、惰性空间释放

    用于优化SDS的字符串缩短操作。SDS的API对SDS需要进行空间扩展的时候,程序不会立即缩短SDS保存的字符串,而是使用free将这些字节的数量记录下来,等待以后再使用。

    通过惰性空间释放策略,SDS避免了缩短字符串带来的内存重分配操作,为将来可能有的增长操作留下了优化空间。同时,不必担心这些没有使用的内存会被浪费掉,其实还有专门的SDS的API用于释放这些内存。

2.4、二进制安全

    C字符串由于末尾必定是\0,所以只能用于存储文本数据,不能用于存储二进制数据。

    SDS的所有API都是二进制安全的,都会以处理二进制的方式来处理SDS存放在buf数组的数据,比如len属性的值就不是以空字符\0来判断字符串的结束。

2.5、兼容部分C字符串函数

    SDS的API依然会将末尾设置为\0,所以redis可以兼容一些C语言的字符串函数,比如strcat等。这样可以避免不必要的代码重复。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,884评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,755评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,369评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,799评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,910评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,096评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,159评论 3 411
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,917评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,360评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,673评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,814评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,509评论 4 334
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,156评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,882评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,123评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,641评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,728评论 2 351

推荐阅读更多精彩内容