三、Redis的持久化

1、RDB(Redis DataBase)

基本介绍

在指定的时间间隔内,将内存中的数据集快照写入磁盘,也就是Snapshot快照,它恢复时是将快照文件直接读取到内存里。

快照文件默认被存储在当前文件夹中,名称为dump.rdb,可以通过dir和dbfilename参数来修改默认值。

Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何的IO操作的,这就确保了极高的性能。

Fork

fork的作用相当于复制一个与当前进程一样的进程。但是是一个全新的进程,并作为原进程的子进程。

配置文件

# redis是基于内存的数据库,可以通过设置该值定期写入磁盘。 
# 注释掉“save”这一行配置项就可以让保存数据库功能失效 
# 900秒(15分钟)内至少1个key值改变(则进行数据库保存--持久化) 
# 300秒(5分钟)内至少10个key值改变(则进行数据库保存--持久化) 
# 60秒(1分钟)内至少10000个key值改变(则进行数据库保存--持久化) 
save 900 1 
save 300 10 
save 60 10000 

#当RDB持久化出现错误后,是否依然进行继续进行工作,
#yes:不能进行工作,no:可以继续进行工作,可以通过info中的rdb_last_bgsave_status了解RDB持久化是否有错误 
stop-writes-on-bgsave-error yes 

#使用压缩rdb文件,rdb文件压缩使用LZF压缩算法,
#yes:压缩,但是需要一些cpu的消耗。no:不压缩,需要更多的磁盘空间 
rdbcompression yes 

#是否校验rdb文件。从rdb格式的第五个版本开始,在rdb文件的末尾会带上CRC64的校验和。
#这跟有利于文件的容错性,但是在保存rdb文件的时候,会有大概10%的性能损耗,所以如果你追求高性能,可以关闭该配置。 
rdbchecksum yes 

#rdb文件的名称 
dbfilename dump.rdb 

#数据目录,数据库的写入会在这个目录。rdb、aof文件也会写在这个目录 
dir /data

触发条件

(1)配置文件中默认的快照配置(可自行修改)
一般会将主机中的dump.rdb文件拷贝到备机中,防止主机损坏无法恢复数据,冷拷贝后重新使用(可以cp dump.rdb dump_new.rdb)

    save 900 1
    save 300 10
    save 60 10000

1分钟key变化一万次,5分钟key变化10次,15分钟key变化1次,就会生成dump.rdb文件。

(2)手动通过save和bgsave命令

  1. save:save时只管保存,其他不管,全部阻塞
  2. bgsave:redis会在后台异步的进行快照操作,同时还可以响应客户端请求。可以通过lastsave命令获取最后一次成功执行快照的事件

(3)执行flushall和shutdown命令

  1. flushall命令,也会产生dump.rdb文件,但里面是空的,无意义。
  2. shutdown命令,安全退出,也会生成快照文件(和异常退出形成对比,比如:kill杀死进程的方式)

如何恢复

appendonly no
dbfilename dump.rdb
dir /var/lib/redis  #可以自行指定

appendonly 设置成no,redis启动时会把/var/lib/redis 目录下的dump.rdb 中的数据恢复。dir 和dbfilename 都可以设置。若将appendonly 设置成yes ,则不会恢复dump.rdb文件中的数据。

将备份文件(dump.rdb)移动到redis安装目录并启动服务即可,使用CONFIG GET dir 命令获取目录。

优势

  1. 恢复数据的速度很快,适合大规模的数据恢复,而又对部分数据不敏感的情况;
  2. dump.db文件是一个压缩的二进制文件,文件暂用空间小。

劣势

  1. 当出现异常退出时,会丢失最后一次快照后的数据;
  2. 当fork时,内存中的数据会被克隆一份,大致两倍的膨胀需要考虑。而且,当数据过大时,fork操作占用过多的系统资源,造成主服务器进程假死。

使用场景

  1. 数据备份
  2. 可容忍部分数据丢失
  3. 跨数据中心的容灾备份

小总结

2、AOF(Append Only File)

基本介绍

以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来,只许追加文件但不可以改写文件,redis启动之初会读取改文件重新构建数据。保存的是appendonly.aof文件

aof机制默认关闭,可以通过appendonly = yes参数开启aof机制,通过appendfilename = myaoffile.aof指定aof文件名称。

配置文件

#默认redis使用的是rdb方式持久化,这种方式在许多应用中已经足够用了。
#但是redis如果中途宕机,会导致可能有几分钟的数据丢失,根据save来策略进行持久化,
#Append Only File是另一种持久化方式,可以提供更好的持久化特性。
#Redis会把每次写入的数据在接收后都写入 appendonly.aof 文件,
#每次启动时Redis都会先把这个文件的数据读入内存里,先忽略RDB文件。 
appendonly no 

#aof文件名 
appendfilename "appendonly.aof" 

#aof持久化策略的配置
#no表示不执行fsync,由操作系统保证数据同步到磁盘,速度最快。
#always表示每次写入都执行fsync,以保证数据同步到磁盘。
#everysec表示每秒执行一次fsync,可能会导致丢失这1s数据。
appendfsync everysec

重写Rewrite是什么?
AOF采用文件追加方式,文件会越来越大,为避免出现此种情况,新增了重写机制,当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩,只保留可以恢复数据的最小指令集,可以使用命令bgrewriteaof。

重写触发机制:
Redis 会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍,且文件大于64M时触发。

重写时是否可以运用持久化追加(Appendfsync),用默认no即可no-appendfsync-on-rewrite no,保证数据安全性。

#aof自动重写配置。
#当目前aof文件大小超过上一次重写的aof文件大小的百分之多少进行重写,
#即当aof文件增长到一定大小的时候Redis能够调用bgrewriteaof对日志文件进行重写。
#当前AOF文件大小是上次日志重写得到AOF文件大小的二倍(设置为100)时,自动启动新的日志重写过程。
auto-aof-rewrite-percentage 100

# 设置允许重写的最小aof文件大小,避免了达到约定百分比但尺寸仍然很小的情况还要重写
auto-aof-rewrite-min-size 64mb

# 在aof重写或者写入rdb文件的时候,会执行大量IO,此时对于everysec和always的aof模式来说,
#执行fsync会造成阻塞过长时间,no-appendfsync-on-rewrite字段设置为默认设置为no,
#是最安全的方式,不会丢失数据,但是要忍受阻塞的问题。如果对延迟要求很高的应用,
#这个字段可以设置为yes,设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,
#不会造成阻塞的问题(因为没有磁盘竞争),等rewrite完成后再写入,这个时候redis会丢失数据。
#Linux的默认fsync策略是30秒。可能丢失30秒数据。因此,如果应用系统无法忍受延迟,
#而可以容忍少量的数据丢失,则设置为yes。如果应用系统无法忍受数据丢失,则设置为no。
no-appendfsync-on-rewrite no

如何恢复

(1)正常恢复
将文件放到dir指定的文件夹下,当redis启动的时候会自动加载数据,注意:aof文件的优先级比dump大

(2)异常恢复

  • 有些操作可以直接到appendonly.aof文件里去修改。
    eg:使用了flushall这个命令,此刻持久化文件中就会有这么一条命令记录,把它删掉就可以了
  • 写坏的文件可以通过 redis-check-aof --fix进行修复

优势

  1. 根据不同的策略,可以实现每秒,每一次修改操作的同步持久化,就算在最恶劣的情况下只会丢失不会超过两秒数据。
  2. 当文件太大时,会触发重写机制,确保文件不会太大。
  3. 文件可以简单的读懂

劣势

  1. aof文件的大小太大,就算有重写机制,但重写所造成的阻塞问题是不可避免,aof文件恢复速度慢于rdb
  2. aof运行效率要慢于rdb,每秒同步策略效率较好,不同步效率和rdb相同

小总结

3、Redis的持久化总结

  • RDB持久化方式能够在指定的时间间隔内对你的数据进行快照存储。

  • AOF持久化方式记录每次对服务器写的操作,当服务器重启时会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾。Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大。

  • 只做缓存:如果你只希望你的数据在服务器运行的时候存在,可以不使用任何的持久化方式。

  • 一般建议同时开启两种持久化方式。
    这种情况下,当redis重启时会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集比RDB文件保存的数据集要完整。
    RDB更适合用于备份数据库(AOF在不断变化不好备份),快速重启,而且不会有AOF可能潜在的bug,留着一个做万一的手段。

  • 性能建议:
    因为RDB文件只用做后备用途,建议只在Slave上持久化RDB文件,而且只要在15分钟备份一次就行,只保留save 900 1这条规则。

    如果Enalbe AOF,好处是在最恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单只load自己的AOF文件就可以了。代价:一是带来了持续的IO;二是AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可,应该尽量减少AOF rewrite的频率,AOF重写的基础大小默认值64M太小了,可以设到5G以上。默认超过原大小100%大小时重写可以改到适当的数值。

    如果不Enable AOF,仅靠Master-Slave Replication 实现高可用性也可以。能省掉一大笔IO也减少了rewrite时带来的系统波动。代价是如果Master/Slave同时宕掉,会丢失10几分钟的数据,启动脚本也要比较两个Master/Slave中的RDB文件,载入较新的那个。新浪微博就选用了这种架构。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容