10.RDB持久化

Redis是一个键值对数据库服务器,我们将服务器中的非空数据库以及它们的键值对统称为数据库状态。

Redis数据库是内存数据库,它将自己的数据库状态存储在内存里,所以一旦服务器进程推出,内存中的数据状态就会消失不见。

为了解决这个问题,Redis 提出了RDB持久化功能,这个功能可以将redis在内存中的数据库状态保存到磁盘里面,避免数据意外丢失。

RDB持久化既可以手动执行,也可以根据服务器配置选项定期执行,该功能可以将某个时间点上的数据库状态保存到一个RDB文件中。

RDB文件是一个经过压缩的二进制文件,通过该文件可以还原生成RDB文件时的数据库状态。

10.1 RDB文件创建与载入

生成RDB文件的两个命令:1.SAVE 2.BGSAVE。

SAVE命令会阻塞Redis服务器进程,直到RDB文件创建完毕为止,在服务器进程阻塞期间,服务器不能处理任何命令请求。

BGSAVE命令会拍出一个子进程,然后由子进程负责创建RDB文件,服务器进程(父进程)继续处理命令请求。

RDB文件的载入工作是在服务器启动时自动执行的,所以Redis并没有专门用于载入RDB文件的命令,只要Redis服务器在启动时检测到RDB文件存在,就会自动载入RDB文件。

因为AOF文件的更新频率通常比RDB文件的更新频率高,所以:

如果服务器开启了AOF持久化功能,那么服务器就好优先使用AOF文件来还原数据库状态。

只有在AOF持久化功能处于关闭状态时,服务器才会使用RDB文件来还原数据状态。

10.1.1 SAVE命令执行时服务器的状态

当SAVE命令执行时,Redis服务器会被阻塞,所以当SAVE命令正在执行时,客户端发送的所有命令请求都会被拒绝。

只有在服务器执行完SAVE命令后,重新开始接受命令请求后,客户端发送的命令才会被处理。

10.1.2 BGSAVE命令执行时服务器的状态

由于BGSAVE命令的保存工作是由子进程执行的,所以在子进程创建RDB文件的过程中,Redis服务器仍然可以继续处理客户端的命令请求,但是,BGSAVE命令执行期间,服务器处理SAVE、BGSAVE、BGREWRITEOF三个命令的方式会和平时有所不同。

首先,在BGSAVE命令执行期间,客户端发送的SAVE命令会被 服务器拒绝,服务器禁止SAVE命令和BGSAVE命令同时使用是为了避免父进程和子进程同时执行两个rdbSave调用,防止竞态条件。

其次,在BGSAVE命令执行期间,客户端发送的BGSAVE命令会被服务器拒绝,因为同时执行两个BGSAVE命令也会产生竞态条件。

最后,BGBEWRITEAOF和BGSAVE两个命令不能同时执行:

如果BGSAVE命令正在执行,那么客户端发送的BGREWRITEAOF命令会被延迟到BGSAVE命令执行完毕后执行。

如果BGREWRITEAOF命令正在执行,那么客户端发送的BGSAVE命令就会被服务器拒绝。

10.1.3 RDB文件载入时服务器的状态

服务器在载入RDB文件期间,会一直处于阻塞状态,直到载入工作完成。

10.2 自动间隔性保存

因为BGSAVE命令可以在不阻塞服务器进程的情况下执行,所以Redis允许用户通过设置配置的save选项,让服务器每隔一段时间自动执行一次BGSAVE命令。

用户可以通过save选项设置多个保存条件,只要其中一个条件被满足,服务器就会执行BGSAVE命令。

10.2.1 设置保存条件

用户可以通过指定配置文件或者传入启动参数的方式设置save选项,接着服务器程序会根据save选项所设置的保存条件,设置服务器状态redisServer结构的saveparams属性。

sa veparams属性是一个数组,数组中的每个元素都是一个saveparam结构,每个saveparam结构都保存了一个save选项设置的保存条件:


saveparam结构

10.2.2 dirty计数器和lastsave属性

dirty计数器记录距离上一次成功执行SAVE命令或者BGSAVE命令之后,服务器对数据库状态进行了多少次修改。

lastsave属性是一个时间戳,记录了服务器上一次成功执行SAVE命令或者BGSAVE命令的时间。

10.2.3 检查保存条件是否满足

Redis服务器周期性操作函数serverCron默认每100毫秒就会执行一次,该函数用于对正在运行的服务器进行维护,它的其中一项工作就是检查save选项所设置的保存条件是否已经满足,如果满足的话就执行BGSAVE命令。

以上就是Redis服务器根据save选项所设置的保存条件,自动执行BGSAVE命令,进行间隔性数据保存的实现原理。

10.3 RDB文件结构


RDB文件开头是REDIS部分,长度为5字节,保存着“REDIS”五个字符。通过这5个字符,程序可以在载入文件的时候,快速检查所载入的文件是否RDB文件。

db_version长度为4字节,它的值是一个字符串表示的整数,这个整数记录了RDB文件的版本号。本章只介绍第六版文件的结构。

database部分包含着零个或任意多个数据库,以及各个数据库中的键值对数据:

1.如果服务器的数据库状态为空(所有数据库都是空的),那么这个部分也为空,长度为0字节。

2.如果服务器的数据库状态为非空(有至少一个数据库非空),那么这个部分也非空,根据数据库所保存键值对的数量、类型和内容不同,这个部分的长度也会有所不同。

EOF常量的长度为1字节,这个常量标志着RDB文件正文内容的结束,当程序读到这个值时,它知道所有的键值对都已经载入完毕。

check_sum是一个8字节长的无符号整数,保存着一个校验和,这个校验和是程序通过对REDIS、db_version、database、EOF四部分的内容进行计算得出的。服务器在载入RDB文件时,会将载入数据所计算出的校验和与check_sum所记录的校验和进行对比,以此来检查RDB文件是否有出错或者损坏的情况出现。

10.3.1 database部分

每个非空数据库在RDB文件中都可以保存为SELECTDB、db_number、key_value_pairs三个部分。

SELECTDB常量的长度为1字节,当读入程序读到这个值时,它知道接下来要读入的将是一个数据库号码。

db_number保存着一个数据库号码,根据号码的不同长度可以是1字节,2字节或5字节。程序读入db_number部分之后,服务器会调用SELECT命令,根据读入的数据库号码进行数据库切换,使得之后读入的键值对可以载入到正确的数据库中。

key_value_pairs部分保存了数据库中的所有键值对数据,如果键值对带有过期时间,那么过期时间也会和键值对保存在一起。

10.3.2 key_value_pairs部分

不带过期时间的键值对在RDB文件中由TYPE、key、value三部分组成。

TYPE记录了value的类型,长度为1字节,值可以是以下常量的其中一个:


value的类型

当服务器读入RDB文件中的键值对数据时,程序会根据TYPE的值来决定如何读入和解释value的数据


带有过期时间键值对

TYPE、key、value意义和不带过期时间的键值对意义完全相同,至于新增的EXPIRETIME_MS和ms,它们的意义如下:

EXPIRETIME_MS:长度为1个字节,它告知程序接下来要读入的将是一个以毫秒为单位的过期时间

ms:一个8字节长的带符号整数,记录着一个以毫秒为单位的UNIX时间戳,这个时间戳就是键值对的过期时间。

10.3.3 value的编码

1.字符串对象

字符串对象的编码可以是REDIS_ENCODING_INT或者REDIS_ENCODING_RAW

如果字符串编码为REDIS_ENCODING_INT,说明对象中保存的是长度不超过32位的整数

如果字符串编码为REDIS_ENCODING_RAW,说明对象所保存的是一个字符串值,根据字符串长度的不同,有压缩和不压缩两种方法来保存这个字符串:

1.如果字符串的长度小于等于20字节,那么这个字符串会被直接原样保存

2.如果字符串长度大于20字节,这个字符串会被压缩之后保存。

注意:如果服务器关闭了RDB文件压功能,那么RDB程序总以无压缩的方式保存字符串值。

对于没有被压缩的字符串,RDB程序会以如下所示的结构来保存该字符串


其中string保存字符串本身,len保存字符串长度

压缩后的字符串,结构如下:


REDIS_RDB_ENC_LZF:标志着字符串已经被LZF算法压缩过了,读入程序在碰到这个常量时,会根据后三部分进行解压缩,其中:

compressed_len:压缩后字符串的长度

origin_len:字符串原来的长度

compress_string:被压缩之后的字符串。

2.列表对象

如果TYPE的值为REDIS_RDB_TYPE_LIST,那么value保存的就是REDIS_ENCODING_LINKEDLIST编码的列表对象,结构如下


LINKEDLIST编码列表对象的保存结构

list_length:记录了列表的长度,记录列表保存了多少个项,读入程序可以通过这个长度知道自己应该读入多少个列表项。

3.集合对象

如果TYPE的值为REDIS_RDB_TYPE_SET,那么value保存的就是一个REDIS_ENCODING_HT编码的集合对象,RDB文件保存这种对象的结构如下:


HT编码集合对象的保存结构

set_size是集合的大小,记录集合保存了多少个元素

以elem开头的部分代表集合的元素,每个集合元素都是一个字符串对象,所以程序会以处理字符串对象的方式来保存和读入集合元素。

4.哈希对象

如果TYPE的值为REDIS_RDB_TYPE_HASH,那么value保存的就是一个REDIS_ENCODING_HT编码的集合对象,RDB文件保存着总对象的结构如下:

1.hash_size记录了哈希表的大小,也即是这个哈希表保存了多少键值对

2.以key_value_pair开头的部分代表哈希表中的键值对,键值对的键和值都是字符串对象,所以程序会以处理字符串对象的方式来保存和读入键值对。结构中每个键值对都以键紧挨着值的方式排列在一起。

5.有序集合对象

如果TYPE的值为REDIS_RDB_TYPE_ZSET,那么value保存的就是一个REDIS_ENCODING_SKIPLIST编码的有序集合对象,RDB文件保存这种对象结构如下:


SKIPLIST编码有序集合对象的保存结构

sorted_set_size:记录了有序集合的大小

以element开头的部分代表有序集合中的元素,每个元素又分为集合和分值两个部分,正义是一个字符串对象,分值是一个double类型的浮点数,程序会先将分值转换成字符串对象,然后再用保存字符串对象的方法将分值保存起来。

6.INTSET编码的集合

如果TYPE的值为REDIS_RDB_TYPE_SET_INSERT,那么value保存的就是一个整数集合对象,RDB文件保存这种对象的做法是先将整数集合转换成字符串对象,然后将这个字符串对象保存到RDB文件中。

7.ZIPLIST编码的列表、哈希表或者有序集合

如果TYPE的值为REDIS_RDB_TYPE_LIST_ZIPLIST、REDIS_RDB_TYPE_HASH_ZIPLIST或者REDIS_RDB_TYPE_ZSET_ZIPLIST,那么value保存的就是一个压缩列表对象,RDB文件保存这种对象的方法是:

1.将压缩列表转换成一个字符串对象

2.将转换所得的字符串对象保存到RDB文件

如果程序在读入RDB文件的过程中,碰到由压缩列表对象转换成的字符串对象,那么程序会根据TYPE值的指示,执行以下操作:

1.读入字符串对象,并将它转化为原来的压缩列表对象

2.根据TYPE的值,设置压缩列表对象的类型

10.4 分析RDB文件

使用od命令来分析Redis服务器产生的RDB文件,该命令可以用给定的格式转存并打印输入文件。

10.4.1 不包含任何键值对的RDB文件

当一个RDB文件没有包含任何数据库数据时,这个RDB文件将由以下四个部分组成:

五个字节的“REDIS”字符串

四个字节的版本号(db_version)

一个字节的EOF常量

八个字节的校验和(check_sum)

10.4.2 包含字符串键的RDB文件

当一个数据库被保存到RDB文件时,这个数据库将由以下三部分组成:

1.一个一字节长的特殊址SELECTDB

2.一个长度可能为一字节、两字节或者五字节的数据库号码(db_number)

3.一个或以上数量的键值对(key_value_pairs)

10.4.3 包含带有过期时间的字符串RDB文件

10.4.4 包含一个集合键的RDB文件

一个带有过期时间的键值对将由以下部分组成:

一个一字节长的EXPIRETIME_MS特殊值

一个8字节长的过期时间

一个一字节长的类型

一个键和一个值

10.4.5 关于分析RDB文件的说明

Redis本身带有RDB文件检查工具redis-check-dump。

od命令配合-c参数来打印RDB文件,对于RDB文件中的数字值,例如校验和,通过ASCII编码来打印它并不容易看出它的真实值,更好的办法是使用-cx参数调用od命令。同时以ASCII编码和十六进制格式打印RDB文件。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 前言 在上一篇文章中,介绍了Redis内存模型,从这篇文章开始,将依次介绍Redis高可用相关的知识——持久化、复...
    Java架构阅读 7,032评论 3 21
  • 1.Redis特性 1)速度快:数据存放在内存上、基于C语言实现、单线程架构预防多线程竞争问题;2)基于键值对的数...
    Sponge1128阅读 3,851评论 0 1
  • 企业级redis集群架构的特点 海量数据 高并发 高可用 要达到高可用,持久化是不可减少的,持久化主要是做灾难恢复...
    lucode阅读 6,575评论 0 7
  • RDB持久化 Redis是内存数据库,数据库状态都在内存里边,需要RDB持久化功能将内存中的数据库状态保存到磁盘里...
    涵仔睡觉阅读 2,498评论 0 1
  • 全部宽,右
    白天不卖豆腐阅读 1,288评论 0 0

友情链接更多精彩内容