Redis笔记(五)- 持久化

众所周知,redis是一种内存数据库,在服务重启的时候内存中的数据会全部丢失,既然redis作为nosql的佼佼者,那肯定有自己的一套持久化方案来在宕机之后恢复自己的数据,那我们就来分析一波redis的持久化机制。

目前redis有两种持久化机制,第一种是RDB快照,这种方式直接把某个时间点的内存全量快照copy一份持久化到硬盘上,等服务重启后用来恢复的话不需要执行太多的命令就能把快照重写回内存;第二种是AOF日志,服务端每接收到一次写入命令,就会在执行完之后append到前一个日志后面,这样在磁盘上就会生成有序的指令队列,服务重启后,按序重新执行命令即可。

RDB快照

在满足RDB触发条件时(或者bgsave命令),redis会fork出一个子进程,由子进程全权负责内存快照的持久化工作。这个子进程和主进程共享一块代码段和数据段,当fork出子进程的时候,这块数据区域就几乎不会发生变化,随后子进程开始遍历数据并写入磁盘。

那这个时候,有新的写请求进来怎么办?
有学过java的小伙伴之前或多或少的接触过CopyOnWriteArrayList,之前将Hash数据结构那篇也讲过,都是利用CopyOnWrite机制来处理写请求的。首先redis将当前区域分成小块,如下:


待持久化的区域.png

当某一个page发现有写请求进来时,会把此page复制一份,在新的区域进行写操作,这也是redis在存储RDB时内存飙高的主要原因之一,不过redis中冷数据还是占绝大部分,所以page页复制的一般也不会很多。

AOF日志

Redis在有写命令进来时,会先进性合法性校验之后再执行,最后会把指令写入磁盘拼接到最近一条aof日志后面,恢复的时候顺序执行命令即可恢复。不过指令也并不是直接写入到磁盘当中的,磁盘页在内存有一个对应的缓存,aof日志是先写到这个缓存,再将缓存刷到磁盘当中,假如在刷到磁盘之前宕机,这个部分未写入磁盘的aof日志将会丢失。
Linux 的 fsync函数 可以强制将内核缓存刷到磁盘。Redis提供了3种 appendfsync 配置:

  • always,每执行一条指令就fsync一次,这样完全放弃了redis的高性能换取持久性,一般没人这么玩。
  • no,永不主动fsync,具体fsync操作交给操作系统,这样搞不是特别安全。
  • everysec,定时fsync,一个折中方案,最好使用这种。

当aof日志越来越大的时候,主进程还会fork一个子进程对aof日志进行瘦身,就是将指令合并和重写,丢掉已经没有作用的指令,瘦身完成后,会拼接在瘦身的这段时间内新增的aof日志,替换掉老的的aof指令。

总结

也许,目前为止,你可能多多少少的对为什么会存在两种持久化机制有些想法了,这两种的持久化方式区别也是很明显的,存储速度方面,RDB快照是复制内存而AOF则是一点点拼接指令日志,相对而言肯定是“少取多拿”的AOF快一点;恢复速度方面,对于大数据集,粗略来讲RDB只需要做一次反序列化就可以了,而AOF则还需要执行一遍所有制令,那RDB恢复是要快一点;数据丢失方面,因为RDB是复制的整个内存信息,所以执行的肯定不会太频繁,一般会设定在一定时间范围key的修改次数达到一定数量才会触发,因此在下一次RDB之前不幸宕机,那 这段事件内的数据则会丢失,AOF因为每次拼接一小部分日志,速度很快,如果在redis命令执行完后到写入aof日志到磁盘这段时间内宕机,这只会丢失这一小部分数据,这两种方式都不能完全保证不丢失数据(fsync是以性能为代价强刷到磁盘,暂不讨论),一般在数据恢复的时候混合使用两种方式,RDB用来恢复较老的数据,AOF用来恢复剩下的刚刚修改过的数据。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,133评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,682评论 3 390
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,784评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,508评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,603评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,607评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,604评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,359评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,805评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,121评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,280评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,959评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,588评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,206评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,442评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,193评论 2 367
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,144评论 2 352

推荐阅读更多精彩内容