Redis中键过期功能的实现

前言

最近在需求开发中又用到了我们熟知的Redis字符串操作SET命令,可以设置指定key的值value及该key的生存时间(Time To Live,TTL)。相关命令的语法如下:

set key value [EX seconds] [PX milliseconds] [NX|XX]    //TTL由EX指定秒或PX指定毫秒

expire key seconds  //expire指定TTL,单位为秒
pexpire key milliseconds    //pexpire指定TTL,单位为毫秒

expireat key timestamp  //expireat指定过期时间戳,单位为秒
pexpireat key milliseconds-timestamp    //pexpireat指定过期时间戳,单位为毫秒

TTL key //key的剩余生存时间,单位是秒
PTTL key //key的剩余生存时间,单位是毫秒

PERSIST key //移除key的过期时间

这些命令用起来挺熟练,可转念一想,Redis中键的自动过期是如何实现的呢?在翻阅资料及源码的基础上,本文主要从过期时间处理、自动删除过期键策略等方面简要介绍该功能的实现。

键的过期时间处理

设置过期时间

前言中提到,Redis有四个不同命令可以用于设置键的生存时间或过期时间。

可以通过EXPIRE或PEXPIRE命令设置该key的生存时间(Time To Live,TTL),在经过指定秒或毫秒后,Redis服务器就会自动删除生存时间为0的键key。

同时可以使用EXPIREAT或PEXPIREAT命令给键key设置过期时间(expire time)。

虽然命令形式多样,但实际上EXPIRE、PEXPIRE、EXPIREAT三个命令都是使用PEXPIREAT命令来实现的,转换方法很简单,就是将过期时间换算成时间戳,并保持时间单位统一。

保存过期时间

redisDb结构的expires字典保存了数据库中所有键的过期时间,被称为“过期字典”。

  • 过期字典是一个指针,指向键空间中的某个对象(也即时某个数据库键)。
  • 过期字典的值是一个long long类型的整数,保存了键所指向的数据库键的过期时间(一个毫秒精度的UNIX时间戳)。
移除过期时间

PERSIST命令可以移除一个键的过期时间,实际就是PEXPIREAT命令的反操作:PERSIST命令在过期字典中查找给定的键,并解除键和值(过期时间)在过期字典中的关联。

计算并返回剩余生存时间

可以使用TTL或PTTL命令查找给定键key的剩余生存时间(key距离被服务器删除还剩多少秒/毫秒),两个命令都是通过计算键的过期时间和当前时间的差值实现的。

过期键的判定

Redis通过查询过期字典的方式检查一个给定键是否过期:

  1. 检查给定键是否存在于过期字典:如果存在,那么取得键的过期时间;
  2. 检查当前UNIX时间戳是否大于键的过期时间:如果是的话,name键已过期;否则键未过期。

过期键删除策略

常见的三种删除策略对比
删除策略 实现 优点 缺点
定时删除 设置键的过期时间的同时,创建一个定时器(Timer),让定时器在键的过期时间来临时,立即执行对键的删除操作。 内存占用率低,通过使用定时器,可以保证过期键会尽可能快地被删除,并释放过期键所占的内存。 占用较多cpu时间,影响服务器的响应时间和吞吐量。
惰性删除 放任键过期不管,但是每次获取键时,都检查键是否已过期,如果过期则删除该键;否则返回该键。 cpu占用率低,只会在取出键时才进行过期检查,可以保证删除的目标仅限于当前的键,不会在其它过期键上花费任何cpu时间。 浪费内存,有内存泄漏的风险。
定期删除 每隔一段时间就对数据库做一次过期键的删除。但每次要删除多少过期键、要检查多少个db,则由算法决定。 是前两种策略的整合和折中,减少了内存和cpu的无谓占用。 难以确定删除操作执行的时长和频率。

Redis的过期键删除策略

Redis服务器实际使用的是惰性删除和定期删除两种策略:通过配合使用这两种策略,服务器可以很好地在合理使用cpu和避免浪费内存空间之间取得平衡。

惰性删除策略的实现

过期键的惰性删除策略由db.c/expireIfNeeded函数实现,所有读写数据库的Redis命令在执行之前都会调用expireIfNeeded函数对输入键进行检查:

  • 如果输入键已经过期,那么expireIfNeeded函数将输入键从数据库中删除。
  • 如果输入键未过期,那么expireIfNeeded函数不做动作。

expireIfNeeded函数就像一个过滤器,它可以在命令真正执行之前,过滤掉过期的输入键,从而避免命令接触到过期键。另外,因为每个被访问的键都可能因为过期而被expireIfNeeded函数删除,所以每个命令的实现函数都必须能同时处理键存在和不存在的情况:

  • 当键存在时,命令按照键存在的情况执行。
  • 当键不存在或者键因为过期而被expireIfNeeded函数删除时,命令按照键不存在的情况执行。
定期删除策略的实现

过期键的定期删除策略由redis.c/activeExpireCycle函数实现,每当Redis的服务器周期性操作redis.c/serverCron函数执行时,activeExpireCycle函数就会被调用,它在规定的时间内,分多次遍历服务器中的各个数据库,从数据库的expires字典中随机检查一部分键的过期时间,并删除其中的过期键。

activeExpireCycle函数的工作模式可以总结如下:

  • 函数每次运行时,都从一定数量的数据库(取min(默认16,实际数量))中取出一定数量的随机键(默认20)进行检查,并删除其中的过期键。
  • 全局变量current_db会记录当前activeExpireCycle函数检查的进度,并在下一次activeExpireCycle函数调用时,接着上一次的进度进行处理。
  • 随着activeExpireCycle函数的不断执行,服务器中的所有db都会被检查一遍,这时函数将current_db变量重置为0,然后进行新一轮的定期删除。

小结

本文对Redis中键过期功能的实现做了一个简要介绍,相信读者看完之后会对大致的实现方案有所了解,但更多细节推荐阅读《Redis涉及与实现》,当然想自己去研究源码更好啦。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,826评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,968评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,234评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,562评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,611评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,482评论 1 302
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,271评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,166评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,608评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,814评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,926评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,644评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,249评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,866评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,991评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,063评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,871评论 2 354

推荐阅读更多精彩内容

  • 1.Redis特性 1)速度快:数据存放在内存上、基于C语言实现、单线程架构预防多线程竞争问题;2)基于键值对的数...
    Sponge1128阅读 619评论 0 1
  • 制定Redis过期策略,是整个Redis缓存策略的关键之一,因为内存来说,公司不可能无限大,所以就要对key进行一...
    JackFrost_fuzhu阅读 4,839评论 1 10
  • 9.1 服务器中的数据库 Redis服务器将所有的数据库都保存在服务器状态redis.h/redisServer结...
    猪大金阅读 368评论 0 0
  • 这节课告诉我,想要内心愉快的坚持下去,想明白很重要,才能真正的学以致用,也能做好家人的榜样,尤其是孩子的榜样。 学...
    平和生活阅读 521评论 0 1
  • 面具外 你微笑着 谁也不知道 你的失落 面具内 你伤心着 谁也不知道 你的痛苦 你不露声色 怕被看穿 你无动于衷 ...
    Keya的意识空间阅读 259评论 5 5