搞懂Redis (五) - Redis持久化

Redis是内存型数据库,一旦服务器进程退出,数据库的数据就会丢失,为了解决这个问题Redis供了两种持久化的方案,将内存中的数据保存到磁盘中,避免数据的丢失
快照(RDB文件)和追加式文件(AOF文件),下面介绍两种方式的原理

  • RDB持久化方式会在一个特定的间隔保存那个时间点的数据快照.
  • AOF持久化方式会记录每一个服务器收到的写操作.在服务启动时,这些记录的操作会逐条执行从而重建出原来的数据。写操作命令记录的格式跟Redis协议一致,以追加的方式进行保存。
  • Redis的持久化是可以禁用的,就是可以让数据的生命周期只存在于服务器的运行时间里。
  • 两种方式的持久化是可以同时存在的,但是当Redis重启时,AOF文件会被优先用于重建数据。
  1. RDB持久化
    RDB持久化产生的文件是一个经过压缩的二进制文件,这个文件可以被保存在硬盘中,可以通过这个文件还原数据库的状态,它可以手动执行,也可以在redis.conf中配置,定时执行。
    工作原理
    在进行RDB时,Redis的主进程不会做io操作,会fork一个子进程来完成操作:
    1、 Redis调用forks,同时拥有父进程和子进程
    2、 子进程将数据集写入到一个临时RDB文件中
    3、 当子进程完成对新RDB文件的写入时,Redis用新RDB文件替换原来的RDB文件,并删除旧的RDB文件。
    这种工作方式使得Redis可以从写时复制(copy-on-write)机制中获益(因为是使用子进程进行写操作,而父进程依然可以接收来自客户端的请求)
    触发机制
    在Redis中RDB持久化的触发分成两种:手动触发和自动触发
    主动触发
    1、save命令是同步的命令,会占用主进程,会造成阻塞,阻塞所有客户端的请求
    2、bgsave是异步命令,进行持久化的时候,Redis还可以将继续响应客户端请求
    bgsave和save的对比
命令 save bgsave
IO类型 同步 异步
阻塞 是(阻塞发生在fork时,通常非常快)
复杂度 O(n) O(n)
优点 不会消耗额外的内存 不阻塞客户端命令
缺点 阻塞客户端命令 需要fork子进程,消耗内存

自动触发
1、 save自动触发配置,见下面配置,满足m秒内修改n次key,触发RDB


# 时间策略   save m n m秒内修改n次key,触发rdb
save 900 1
save 300 10
save 60 10000

# 文件名称
dbfilename dump.rdb

# 文件保存路径
dir /home/work/app/redis/data/

# 如果持久化出错,主进程是否停止写入
stop-writes-on-bgsave-error yes

# 是否压缩
rdbcompression yes

# 导入时是否检查
rdbchecksum yes

2、从节点全量复制时,主节点发送RDB文件给从节点完成复制时操作,主节点会触发bgsave命令
3、执行flushall命令,会触发RDB
4、退出Redis,且没有开启AOF时
优点:
1、RDB的内容为二进制的数据,占用内存更小,更紧凑,更适合作为备份文件
2、RDB对灾难恢复非常有用,它可以是一个紧凑的文件,可以更快的传输到远程服务器进行Redis服务恢复
3、RDB可以更大程度的提高Redis的运行速度,因为每次持久化时Redis都会fork一个子进行,进行数据持久化到磁盘,Redis主进程并不会执行磁盘I/O等操作
4、与AOF格式的文件相比,RDB文件可以更快的重启
缺点:
1、因为RDB只能保存某个时间间隔的数据,如果中途Redis服务被意外终止,则会丢失一段时间内的Redis数据
2、RDB需要经常fork才能使用子进程将其持久化在磁盘上。如果数据集很大,fork可能很耗时,并且如果数据集很大且CPU性能不佳,则可能导致Redis停止为客户端服务几毫秒甚至1s。

  1. AOF(Append Only File)
    以日志的形式来记录每个写的操作,将Redis执行过的所有指令记录下来(读不记录),只许追加文件但不可以改写文件,Redis启动之初会读取该文件重新构建数据,换言之,Redis重启的话就会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。
    AOF配置项
# 默认不开启aof  而是使用rdb的方式
appendonly no

# 默认文件名
appendfilename "appendonly.aof"

# 每次修改都会sync 消耗性能
# appendfsync always
# 每秒执行一次 sync 可能会丢失这一秒的数据
appendfsync everysec
# 不执行 sync ,这时候操作系统自己同步数据,速度最快
# appendfsync no 

AOF的整个流程大体来看可分两步,一是命令的实时写入(如果是appendfsync everysec 配置,会有1s的损耗),二是对aof文件的重写

AOF重写机制
随着Redis的运行,AOF的日志会越来越长,如果实例宕机重启,那重放整个AOF将变得十分耗时,而在日志记录中,又有很多无意义的记录,比如我现在将一个数据incr一千次,那就不需要去记录这一千次的修改,只需记录最后的值即可。所以就需要进行AOF重写。
Redis提供了bgrewriteaof指令用于对AOF日志进行重写,该指令运行时会开辟一个子进程对内存进行遍历,然后将其转换为一系列的Redis的操作指令,再序列化到一个日志文件中。完成后再替换原有的AOF文件,至此完成。
同样也可以在redis.conf中对重写机制的触发配置:
通过将no-appendfsync-on-rewrite设置为yes,开启重写机制;
auto-aof-rewrite-percentage 100即比上次写入文件大小增长了100%再次触发重写。
auto-aof-rewrite-min-size 64mb意为当文件至少要达到64mb才会触发重写机制。
触发方式
1、 手动触发:bgrewriteaof
2、自动触发:根据配置规则来触发,当然触发的整体时间还是跟Redis的定时任务频率有关系
优点:
1、数据安全,AOF持久化可以配置appendfsync属性,有always,每进行一次命令操作就记录到aof文件中一次
2、通过append模式写文件,即使中途服务器宕机,可以通过redis-check-aof工具解决数据一致性问题
3、AOF机制的rewrite模式。aof文件没被rewrite之前,(文件过大时会对命令进行合并重写),可以删除其中的某些命令(比如误操作的flushall)

缺点:
1、AOF文件比RDB文件大,且恢复速度慢。
2、数据集大的时候,比RDB启动效率低

  1. RDB与AOF对比
比较项 RDB AOF
启动优先级
体积
恢复速度
数据安全性 丢数据 根据策略决定
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,951评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,606评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,601评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,478评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,565评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,587评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,590评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,337评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,785评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,096评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,273评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,935评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,578评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,199评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,440评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,163评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,133评论 2 352

推荐阅读更多精彩内容