<redis>现在居然还有不知道持久化的......出门右拐不送!!!!

image

1.前言

面试官:你知道redis是的怎么做持久化的吗?

我:我知道redis有两种方式,一种是RDB,一种是AOF

面试官:那这两种方式具体是怎么做的,它们的区别是什么??

我:嗯。。。。。。这个我不知道

面试官:出门左拐,不送。

嗯。。。以上场景很真实,都说面试造火箭,入职拧螺丝,今天我们就让面试官再问到这个问题时,把他按在地上摩擦!

image

2.正文

我们简单的说明一下什么是redis的持久化:

用通俗的语言来说.redis的持久化就是将内存中的数据,保存的磁盘当中,以便于数据恢复.

接下来我们进入正题,说说redis持久化的方式redis的持久化方式有两种:RDB和AOF,

概念

RDB(redis database): 把某个时间点redis内存中的数据以二进制的形式存储的一个.rdb为后缀的文件当中,也就是周期性的备份redis中的整个数据,这是redis默认的持久化方式,也就是我们说的快照(snapshot)AOF(append only file): redis每次执行一个命令时,都会把这个命令原本的语句记录到一个.aod的文件当中,然后通过fsync策略,将命令执行后的数据持久化到磁盘中(不包括读命令)

RDB

RDB的两种工作方式

1:自动提交如下图,这是redis中默认的配置,它的意思就是

在900s内,有1个redis键有变化,就备份一次

在300s内,有10个redis键有变化,就备份一次

在600s内,有10000个redis键有变化,就备份一次

这个参数是我们可以修改的,具体的数值可以根据我们的业务量进行匹配

image

2:手动提交手动触发Redis进行RDB持久化的命令有两种:

1、save

该命令会阻塞当前Redis服务器,执行save命令期间,Redis不能处理其他命令,直到RDB过程完成为止。所以说当save命令执行期间,如果有其他命令执行,那么只能阻塞,极大的影响了redis的性能

2、bgsave

执行bgsave命令的时候,redis会自己fork出一条子进程,由这条子进程去执行,这样就不会影响到客户端对于redis 的正常操作 有意思的是,我们都知道,进程与进程之间的内存不是共享的,那么子进程是如何获取到主进程的内存数据呢?

image

真像是在主进程fork子进程的同时,会把自己内存中的数据同时复制一份给子进程,这样就相当于子进程可以读取到主进程的数据了,然后子进程就可以愉快的进行io操作了.(将内存中的数据写入磁盘中).用心的小伙伴可能已经发现了,既然主进程要把自己的数据复制一份给子进程,那么就是说,会有双倍的内存占用.简单点来讲,假如你的redis在未fork子进程时就占用了5G内存,那么你的服务器剩余可用内存至少要达到5G才可正常的进行fork操作,有的小伙伴可能会问,那么这个复制内存的操作是立即执行的吗,其实并不是的,正常情况下redis的服务大部分都是读操作,在fork子进程的时候,子进程其实并没有直接复制一份主进程的数据,而是给他分配了一个虚拟的内存地址,指向了父进程的内存地址,知道父进程的内存数据发生改变的时候才会进行复制内存的操作. 又有一个问题来了,如果在fork期间客户端又发起了新的操作,redis会怎样做呢,答案相信大家都猜到了,当然是等着了,毕竟redis是单线程的,fork这个过程结束后,redis的子进程就会进行持久化操作了,所以redis主进程理所应当的就创建了一份新的rdb文件,直到子进程完成持久化操作后,才会删除掉之前的rdb文件,以这份新的rdb文件代替.

所以大家也发现了,fork的时间长短其实是跟当时redis中的数据量有很大关系的,在其他条件恒定的情况下,随着数据量的增大,redis 的fork操作时间也会变长.

为了性能,基本上 Redis 内部所有的RDB操作都是采用 bgsave 命令,也就是自动提交。

image

讲了这么多,我们来总结一下:

RDB的优点:
1.它是将某一时间点redis内的所有数据保存下来,所以当我们做大型的数据恢复时,RDB的恢复速度会很快,

2.由于RDB的FROK子进程这种机制,队友给客户端提供读写服务的影响会非常小

RDB的缺点: 1:假设我们定时5分钟备份一次,在10:00的时候redis备份了数据,但是如果在10:04的时候服务挂了,那么我们就会丢失在10:00到10:04的整个数据

2:我们前面讲了,fork子进程这个过程是和redis的数据量有很大关系的,如果数据量很大,那么很有可能会使redis暂停几秒

AOF

AOF 重写: 我们知道AOF是不断的将写命令追加到一个后缀叫.aof 的文件当中的,那么问题来了,随着我们不断的写命令,.aof文件越来越大,那么redis会做什么操作呢? 我们举个简单的例子.

        set a  10

        del  a

        set a 10

        del a

我们执行了以上四条命令,正常来说,就会在.aof文件当中存在这四条命令的身影,但是我们发现,其实当我们执行完这四条命令,我们根本没有修改数据的内容,要知道,redis的本质就是存储数据的,只要数据内容不发生改变,即使做再多的操作也是没有意义的,redis自然也考虑到了这一点,所以它会自己对.aof文件进行优化,重建.aof文件,这个文件中包含了当前数据所需要的的最少的命令集 (如:a + 1,a + 1,a + 1 这三个命令会合成为a + 3 这一个命令). 当然redis并不会让主进程进行这个操作,为了防止阻塞,在执行重写操作期间会设置一个aof重写缓冲区,仅仅用于在后台进程重写期间,将发生的数据库读写命令写入到重写缓冲区,之后当重写子进程完成重写后,向服务器主进程发送一个信号,此时服务器主进程将aof重写缓冲区中的命令追加到新的aof文件中去,用新的aof文件替换掉旧的aof文件。

命令同步到磁盘的三种方式:

1:appendfsync no

Redis不会主动调用fsync去将AOF日志内容同步到磁盘,具体的操作依赖于操作系统,对大多数Linux操作系统,是每30秒进行一次fsync,将缓冲区中的数据写到磁盘上。

2:appendfsync everysec

Redis会默认每隔一秒进行一次fsync调用,也就是说一次将一秒内的所有命令同步到磁盘中

3:appednfsync always

每次写操作都会调用一次fsync

image

AOF 的优点:
1.AOF可以更好的保护数据不丢失,一般AOF会以每隔1秒,通过后台的一个线程去执行一次fsync操作,如果redis进程挂掉,最多丢失1秒的数据。

2.AOF是将命令直接追加在文件末尾的,写入性能非常高。

3.AOF日志文件的命令通过非常可读的方式进行记录,这个非常适合做灾难性的误删除紧急恢复,如果某人不小心用flushall命令清空了所有数据,只要这个时候还没有执行rewrite,那么就可以将日志文件中的flushall删除,进行恢复。

AOF 的缺点:
1.对于同一份数据源来说,一般情况下AOF文件比RDB数据快照要大。

2.由于.aof每次命令都会写入,那么相对于RDB来说需要消耗的性能也就更多。

3.数据恢复比较慢,不适合做冷备。

image

3.总结

redis有两种持久化的方式,一种是RDB,一种是AOP,所谓RDB就是段时间的用快照的方式将redis中的所有数据存储下来,并且通过fork子进程的方式去持久化的,由于redis通常是用来读取数据的,所有中间有一层优化就是写时持久化(进程与进程之间内存不共享,再redis数据发生变动时再fork完成持久化),而AOF就是存储一条条执行的redis命令(不包括查询命令),通过命令的方式完成持久化,并且中间还会有AOF重写的操作,主要就是为了节省空间。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342