Redis RDB持久化和AOF持久化

RDB持久化

Redis是内存数据库,数据库状态都在内存里边,需要RDB持久化功能将内存中的数据库状态保存到磁盘里,避免数据丢失。
SAVE和BGSAVE命令可用于生成RDB文件:

  • SAVE:阻塞redis服务器进程,直到RDB文件创建完毕;
  • BGSAVE:派生出一个子进程负责创建RDB文件,父进程继续处理请求。

RDB文件的载入是有服务器启动时自动执行的,服务器会阻塞知道RDB文件被载入完成。

AOF文件的更新频率比RDB文件高,所以如果服务器开启了AOF持久化功能,那么会优先使用AOF文件来还原数据库状态。

RDB文件结构(RDB保存的是二进制数据)


image
  • REDIS:保存“REDIS”五个字符,可以快速检查所载入的文件是否为RDB'文件;
  • db_version:版本号,4字节字符串表示的整数;
  • database:包含0个或多个数据库,以及各个数据库中的键值对数据;
  • EOF:1字节,标志RDB文件正文内容结束,键值对加载完毕;
  • check_sum:检验和,8字节的无符号整数。

database:RDB文件中的数据库结构


image
  • SELECTDB:常量,1字节,读到这个值时便知道接下来就是数据库号码;
  • db_number:保存一个数据库号码,可以是1字节、2字节或5字节;
  • key_value_pairs:保存了数据库中所有的键值对数据,以及对应的过期时间。


    image

    image

TYPE:记录value的类型,1字节;代表了一种对象类型或者底层编码,程序会根据TYPE的值来决定如何读入和解释value数据:

  • REDIS_RDB_TYPE_STRING
  • REDIS_RDB_TYPE_LIST
  • REDIS_RDB_TYPE_SET
  • REDIS_RDB_TYPE_ZSET
  • REDIS_RDB_TYPE_HASH
  • REDIS_RDB_TYPE_LIST_ZIPLIST
  • REDIS_RDB_TYPE_SET_INTSET
  • REDIS_RDB_TYPE_ZSET_ZIPLIST
  • REDIS_RDB_TYPE_HASH_ZIPLIST

key:字符串对象;

value:值对象,类型记录在TYPE中:

  • 字符串对象:REDIS_RDB_TYPE_STRING
    编码为REDIS_ENCODING_INT,则保存对象是长度不超过32位的整数:
    image

    编码为REDIS_ENCODING_RAW,则保存对象为字符串,若长度小于等于20字节则原字符串保存:
    image

    若长度大于20字节则压缩保存:
    image
  • 列表对象:REDIS_RDB_TYPE_LIST,编码:REDIS_ENCODING_LINKEDLIST


    image
  • 集合对象:
    REDIS_RDB_TYPE_SET,编码:REDIS_ENCODING_HT
    [图片上传失败...(image-8007a2-1525337873697)]
    REDIS_RDB_TYPE_SET_INTSET:编码:REDIS_ENCODING_INTSET
    将整数集合转换为字符串对象,然后将字符串对象保存到RDB文件中
  • 哈希表对象:REDIS_RDB_TYPE_HASH,编码:REDIS_ENCODING_HT


    image
  • 有序集合对象:REDIS_RDB_TYPE_ZSET,编码:REDIS_ENCODING_SKIPLIST


    image
  • ZIPLIST编码的列表(REDIS_RDB_TYPE_LIST_ZIPLIST)、哈希表(REDIS_RDB_TYPE_HASH_ZIPLIST)或有序集合(REDIS_RDB_TYPE_ZSET_ZIPLIST):均将压缩列表转换成一个字符串对象再保存到RDB文件中,读取RDB文件时再根据TYPE值还原成对应的类型对象。

EXPIRETIME_MS:常量,1字节,告知程序接下来是以毫秒为单位的过期时间;
ms:8字节带符号整数,记录一个以毫秒为单位的UNIX时间戳。

AOF持久化

AOF(Append Only File)持久化是通过保存Redis服务器所执行的写命令来记录数据库状态。服务器启动时,可以通过载入和执行AOF文件中保存的命令来还原服务器关闭之前的数据库状态。

AOF功能包括三个步骤:命令追加、文件写入和文件同步。
1、命令追加:服务器执行完一个写命令后,会以协议格式将被执行的写命令追加到服务器状态的aof_buf缓冲区的末尾;
2、文件写入与文件同步:服务器进程是一个事件循环,在一次事件循环结束之前,都会调用flushAppendOnlyFile函数,并由配置参数appendfsync选项决定aof_buf缓冲区中的内容是否写入和保存到AOF文件中,具体设置如下:

image

写入不会阻塞到IO完成才返回,因此若在此期间发生故障会造成数据丢失;
同步是通过同步IO原语来提供os级别的保证,保证文件所有已修改的内容同步到磁盘中。

AOF文件载入与还原


image

AOF重写:AOF持久化是通过保存被执行的写命令来记录数据库状态的,所以AOF文件中的内容会越来越多,造成影响。AOF重写是通过读取当前的数据库状态,从而得到一个新的AOF文件,其体积较小,但跟原来的AOF文件所保存的数据库状态是一样的。其原理就是从数据库中读取每个键现在的值,然后用一条命令去记录键值对(但当处理列表、哈希表、集合或有序集合这些带有多个元素的键时,若元素数量超过64个,会用多条命令来记录键值对)。

AOF后台重写:
AOF重写会造成服务器进程阻塞而无法处理其他命令请求,因此Redis创建一个新的子进程用于处理AOF重写,这样的好处是:

  1. 子进程进行AOF重写期间,服务器进程仍可以继续处理命令请求;
  2. 子进程带有服务器进程副本,使用子进程而非线程,可以避免使用锁的情况下保证数据的安全性。

为了解决子进程在处理AOF重写时,服务器进程对数据库状态进行修改而造成的不一致,Redis设置一个AOF重写缓冲区,在子进程处理AOF重写时,服务器每执行完一个写命令,会将该命令发送到AOF重写缓冲区,子进程处理完毕后产生新的AOF文件,并向服务器进程发送一个信号,服务器进程接收到该信号后就将AOF重写缓冲区的命令追加到新的AOF文件中。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 超强、超详细Redis入门教程 转载2017年03月04日 16:20:02 16916 转载自: http://...
    邵云涛阅读 17,603评论 3 313
  • Redis持久化: 提供了多种不同级别的持久化方式:一种是RDB,另一种是AOF. RDB 持久化可以在指定的时间...
    不姓马的小马哥阅读 3,856评论 0 10
  • 【本教程目录】 1.redis是什么2.redis的作者3.谁在使用redis4.学会安装redis5.学会启动r...
    徐猿猿阅读 5,837评论 0 35
  • Redis 持久化: 常用的两种持久化 提供了多种不同级别的持久化方式:一种是RDB,另一种是AOF. RDB 持...
    边学边记阅读 4,862评论 0 1
  • 1.有时候会偏爱这样黑白纯粹的世界 2.想看到南方下这样美的雪 3.也许它听过风听过雨听过世事变迁 4.山云 5....
    却篱阅读 2,372评论 0 1

友情链接更多精彩内容