RDB持久化
Redis是内存数据库,数据库状态都在内存里边,需要RDB持久化功能将内存中的数据库状态保存到磁盘里,避免数据丢失。
SAVE和BGSAVE命令可用于生成RDB文件:
- SAVE:阻塞redis服务器进程,直到RDB文件创建完毕;
- BGSAVE:派生出一个子进程负责创建RDB文件,父进程继续处理请求。
RDB文件的载入是有服务器启动时自动执行的,服务器会阻塞知道RDB文件被载入完成。
AOF文件的更新频率比RDB文件高,所以如果服务器开启了AOF持久化功能,那么会优先使用AOF文件来还原数据库状态。
RDB文件结构(RDB保存的是二进制数据)
- REDIS:保存“REDIS”五个字符,可以快速检查所载入的文件是否为RDB'文件;
- db_version:版本号,4字节字符串表示的整数;
- database:包含0个或多个数据库,以及各个数据库中的键值对数据;
- EOF:1字节,标志RDB文件正文内容结束,键值对加载完毕;
- check_sum:检验和,8字节的无符号整数。
database:RDB文件中的数据库结构
- SELECTDB:常量,1字节,读到这个值时便知道接下来就是数据库号码;
- db_number:保存一个数据库号码,可以是1字节、2字节或5字节;
-
key_value_pairs:保存了数据库中所有的键值对数据,以及对应的过期时间。
image
image
TYPE:记录value的类型,1字节;代表了一种对象类型或者底层编码,程序会根据TYPE的值来决定如何读入和解释value数据:
- REDIS_RDB_TYPE_STRING
- REDIS_RDB_TYPE_LIST
- REDIS_RDB_TYPE_SET
- REDIS_RDB_TYPE_ZSET
- REDIS_RDB_TYPE_HASH
- REDIS_RDB_TYPE_LIST_ZIPLIST
- REDIS_RDB_TYPE_SET_INTSET
- REDIS_RDB_TYPE_ZSET_ZIPLIST
- REDIS_RDB_TYPE_HASH_ZIPLIST
key:字符串对象;
value:值对象,类型记录在TYPE中:
- 字符串对象:REDIS_RDB_TYPE_STRING
编码为REDIS_ENCODING_INT,则保存对象是长度不超过32位的整数:
image
编码为REDIS_ENCODING_RAW,则保存对象为字符串,若长度小于等于20字节则原字符串保存:
image
若长度大于20字节则压缩保存:
image -
列表对象:REDIS_RDB_TYPE_LIST,编码:REDIS_ENCODING_LINKEDLIST
image - 集合对象:
REDIS_RDB_TYPE_SET,编码:REDIS_ENCODING_HT
[图片上传失败...(image-8007a2-1525337873697)]
REDIS_RDB_TYPE_SET_INTSET:编码:REDIS_ENCODING_INTSET
将整数集合转换为字符串对象,然后将字符串对象保存到RDB文件中 -
哈希表对象:REDIS_RDB_TYPE_HASH,编码:REDIS_ENCODING_HT
image -
有序集合对象:REDIS_RDB_TYPE_ZSET,编码:REDIS_ENCODING_SKIPLIST
image - ZIPLIST编码的列表(REDIS_RDB_TYPE_LIST_ZIPLIST)、哈希表(REDIS_RDB_TYPE_HASH_ZIPLIST)或有序集合(REDIS_RDB_TYPE_ZSET_ZIPLIST):均将压缩列表转换成一个字符串对象再保存到RDB文件中,读取RDB文件时再根据TYPE值还原成对应的类型对象。
EXPIRETIME_MS:常量,1字节,告知程序接下来是以毫秒为单位的过期时间;
ms:8字节带符号整数,记录一个以毫秒为单位的UNIX时间戳。
AOF持久化
AOF(Append Only File)持久化是通过保存Redis服务器所执行的写命令来记录数据库状态。服务器启动时,可以通过载入和执行AOF文件中保存的命令来还原服务器关闭之前的数据库状态。
AOF功能包括三个步骤:命令追加、文件写入和文件同步。
1、命令追加:服务器执行完一个写命令后,会以协议格式将被执行的写命令追加到服务器状态的aof_buf缓冲区的末尾;
2、文件写入与文件同步:服务器进程是一个事件循环,在一次事件循环结束之前,都会调用flushAppendOnlyFile函数,并由配置参数appendfsync选项决定aof_buf缓冲区中的内容是否写入和保存到AOF文件中,具体设置如下:
写入不会阻塞到IO完成才返回,因此若在此期间发生故障会造成数据丢失;
同步是通过同步IO原语来提供os级别的保证,保证文件所有已修改的内容同步到磁盘中。
AOF文件载入与还原
AOF重写:AOF持久化是通过保存被执行的写命令来记录数据库状态的,所以AOF文件中的内容会越来越多,造成影响。AOF重写是通过读取当前的数据库状态,从而得到一个新的AOF文件,其体积较小,但跟原来的AOF文件所保存的数据库状态是一样的。其原理就是从数据库中读取每个键现在的值,然后用一条命令去记录键值对(但当处理列表、哈希表、集合或有序集合这些带有多个元素的键时,若元素数量超过64个,会用多条命令来记录键值对)。
AOF后台重写:
AOF重写会造成服务器进程阻塞而无法处理其他命令请求,因此Redis创建一个新的子进程用于处理AOF重写,这样的好处是:
- 子进程进行AOF重写期间,服务器进程仍可以继续处理命令请求;
- 子进程带有服务器进程副本,使用子进程而非线程,可以避免使用锁的情况下保证数据的安全性。
为了解决子进程在处理AOF重写时,服务器进程对数据库状态进行修改而造成的不一致,Redis设置一个AOF重写缓冲区,在子进程处理AOF重写时,服务器每执行完一个写命令,会将该命令发送到AOF重写缓冲区,子进程处理完毕后产生新的AOF文件,并向服务器进程发送一个信号,服务器进程接收到该信号后就将AOF重写缓冲区的命令追加到新的AOF文件中。