Redis内存管理和持久化机制

内存管理

Redis是一个基于内存的key-value的数据库,其内存管理是非常重要的;其针对不同操作系统的差异,同时方便自己实现相关的统计函数,封装了不同平台的实现,具体可参阅深入redis内部--内存管理

Redis支持多种不同的数据类型,如下:

  • String
  • List
  • Set
  • Hash
  • Sorted Set

下面就详细来介绍下其数据结构和编码。

数据结构

所有的Redis对象都被封装在RedisObject这个结构体当中,如下:

typedef struct redisObject {
    unsigned type,           // 4字节,数据类型(String,List,Set,Hash,Sorted Set)
    unsigned encoding,   // 4字节,编码方式
    unsigned lru,              // 24字节
    int refcount,               // 对象引用计数
    void *ptr                    // 数据具体存储的指向
} robj;

数据类型的常用编码方式如下:

数据类型 常用 少量数据 特殊情况
String RAW EMBSTR INT O(1) O(1)
List LinkedList ZipList pop:O(1)
lset:O(N)
push:O(1)
lindex:O(N)
Set Hash Table INTSET(少量整数) O(1) O(1)
Hash Hash Table ZipList O(1) O(1)
Sorted Set SkipList ZipList zscore:O(1)
zrank:O(logN)
O(logN)

编码方式介绍:

  • RAW:RedisObject的ptr指向名为sds的空间,包含Len和Free头部和buf的实际数据,Free采用了某种预分配(若Len<1M,则Free分配与Len大小一致的空间;若大于Len>=1M,则Free分配1M空间;SDS的长度为Len+Free+buf+1(额外的1字节用于保存空字符))
  • EMBSTR:与RedisObject在连续的一块内存空间,省去了多次内存分配;条件是字符串长度<=39
  • INT:字符串的特殊编码方式,若存储的字符串是整数时,则ptr本身会等于该整数,省去了sds的空间开销;实际上Redis在启动时会默认创建10000个RedisObject,代表0-10000的整数
  • ZipList(压缩列表):除了一些标志性字段外用一块类似数组的连续空间来进行存储,缺点是读写时整个压缩列表都需要更改,一般能达到10倍的压缩比。Hash默认值为512,List默认是64
  • Hash Table:默认初始大小为4,使用链地址法解决hash冲突;rehash策略:将原来表中的数据rehash并放入新表,之后替换;大量rehash可能会造成服务不可用,因此Redis使用渐进式rehash策略,分批进行

过期机制

Redis为了不影响正常的读写操作,一般只会在必要或CPU空闲的时候做过期清理的动作;

  1. 必要:一次事件循环结束,进入事件侦听前
  2. CPU空闲:系统空闲时做后台定时清理任务(时间限制为25%的CPU时间);Redis后台清理任务默认100ms执行1次,25%限制是表示25ms用来执行key清理

过期key清理算法:

  1. 依次遍历所有db;
  2. 从db中随机取得20个key,判断是否过期,若过期,则剔除;
  3. 若有5个以上的key的过期,则重复步骤2,否则遍历下一个db
  4. 清理过程中若达到了时间限制,则退出清理过程

持久化

Redis支持四种持久化方式;如下:

  • 定时快照方式(snapshot)[RDB方式]
  • 基于语句追加文件的方式(aof)
  • 虚拟内存(vm) <font color="red">已被放弃</font>
  • Diskstore方式<font color="red">实验阶段</font>

前两种方式为小数据量追加落地方式;后两种为尝试存储数据超过物理内存时,一次性落地方式;

定时快照方式(snapshot)

该方式实际是在Redis内部执行一个定时任务,根据redis.conf中配置的save的时间间隔去检查当前数据改变次数和时间是否满足配置,如果满足则从父进程fork(copy-on-write机制)出一个子进程,通过该子进程遍历内存来转换成rdb文件;

# Save the DB on disk:
# 设置sedis进行数据库镜像的频率。
# 900秒(15分钟)内至少1个key值改变(则进行数据库保存--持久化)。
# 300秒(5分钟)内至少10个key值改变(则进行数据库保存--持久化)。
# 60秒(1分钟)内至少10000个key值改变(则进行数据库保存--持久化)。
save 900 1
save 300 10
save 60 10000
 
stop-writes-on-bgsave-error yes

# 在进行镜像备份时,是否进行压缩。yes:压缩,但是需要一些cpu的消耗。no:不压缩,需要更多的磁盘空间。
rdbcompression yes
# 一个CRC64的校验就被放在了文件末尾,当存储或者加载rbd文件的时候会有一个10%左右的性能下降,为了达到性能的最大化,你可以关掉这个配置项。
rdbchecksum yes
# 快照的文件名
dbfilename dump.rdb
# 存放快照的目录
dir /var/lib/redis 

缺陷:快照只是一段时间的数据的体现,若发生宕机,数据会丢失

基于语句追加文件的方式(aof)

类似mysql的binlog方式,每个数据发生改变都会追加至一个log文件中;

# 是否开启AOF,默认关闭(no)
appendonly yes
# 指定 AOF 文件名
appendfilename appendonly.aof
# Redis支持三种不同的刷写模式:
# appendfsync always #每次收到写命令就立即强制写入磁盘,是最有保证的完全的持久化,但速度也是最慢的,一般不推荐使用。
appendfsync everysec #每秒钟强制写入磁盘一次,在性能和持久化方面做了很好的折中,是受推荐的方式。
# appendfsync no #完全依赖OS的写入,一般为30秒左右一次,性能最好但是持久化最没有保证,不被推荐。

缺陷:追加log文件可能过大,恢复慢;实时写log会影响redis本身性能

参考资料

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,014评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,796评论 3 386
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,484评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,830评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,946评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,114评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,182评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,927评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,369评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,678评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,832评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,533评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,166评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,885评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,128评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,659评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,738评论 2 351

推荐阅读更多精彩内容