Redis(六)-缓存方案-雪崩/击穿/穿透

概述

不论是看文章还是面试时经常会碰到缓存异常的三个问题,分别是缓存雪崩、缓存击穿和缓存穿透。本节就来学习下这三个问题的表现、诱发原因以及解决方法。

1. 缓存雪崩

缓存雪崩:是指大量的应用请求无法在Redis缓存中进行处理,发送到数据库层,导致数据库压力激增。

1.1 诱发原因

1.缓存中大量key同时过期,导致大量缓存缺失,请求到达数据库
2.Redis实例故障或宕机,导致大量请求到达数据库

1.2 解决方法

1.针对缓存同时过期情况,可以在设置大量同时过期key时,在原过期时间基础上增加一个较小随机时间(例如,随机增加1~3分钟);
2.针对实例宕机情况,可以使用高可靠集群方案,当主节点挂掉之后,从节点还可以切换成为主节点,继续提供缓存服务;
3.服务降级,针对不同的数据提供不同的处理方式:

  • 当业务应用访问的是非核心数据(例如电商商品属性)时,暂时停止从缓存中查询这些数据,而是直接返回预定义信息、空值或是错误信息;
  • 当业务应用访问的是核心数据(例如电商商品库存)时,仍然允许查询缓存,如果缓存缺失,也可以继续通过数据库读取;

4.请求限流,当监控到发送雪崩时,前端系统根据数据库的处理能力进行请求限流,把无法处理的请求直接拒绝服务,防止打垮数据库;

2. 缓存击穿

缓存击穿:是指某个频繁访问的热点数据无法在Redis缓存中进行处理,发送到数据库层

2.1 诱发原因

通常是因为热点数据过期

2.2 解决方法

对于频繁访问的热点数据不要设置过期时间

3. 缓存穿透

缓存穿透:是指要访问的数据既不在Redis缓存中,也不在数据库中,导致请求在访问缓存时,发生缓存缺失,再去访问数据库时,发现数据库中也没有要访问的数据。此时,应用也无法从数据库中读取数据再写入缓存来服务后续请求,这样一来,缓存也就成了“摆设”,如果应用持续有大量请求访问数据,就会同时给缓存和数据库带来巨大压力。

3.1 诱发原因

1. 业务层误操作:缓存中的数据和数据库中的数据被误删除了,所以缓存和数据库中都没有数据;
2. 恶意攻击:专门访问数据库中没有的数据;

3.2 解决方法

1.缓存空值或缺省值
当缓存和数据库中都不存在时,回写一个空或默认值到缓存中,这样后续同样请求就可以直接从缓存中返回默认值;
2.前端应用对请求数据的合法性进行判断拦截
缓存穿透的一个原因是有大量的恶意请求访问不存在的数据,所以,一个有效的应对方案是在请求入口前端,对业务系统接收到的请求进行合法性检测,把恶意的请求(例如请求参数不合理、请求参数是非法值、请求字段不存在)直接过滤掉,不让它们访问后端缓存和数据库;
3.使用布隆过滤器
把数据写入数据库时,使用布隆过滤器做个标记。当缓存缺失后,应用查询数据库时,可以通过查询布隆过滤器快速判断数据是否存在,如果不存在,就不用再去数据库中查询了;

3.3 布隆过滤器

布隆过滤器由一个初值都为0的bitmap和N个哈希函数组成,可以用来快速判断某个数据是否存在;


布隆过滤器.png
3.3.1 哈希映射

1.使用N个哈希函数,分别计算一个数据的哈希值,得到N个哈希值;
2.把这N个哈希值对bit数组的长度取模,得到每个哈希值在数组中的对应位置;
3.把对应位置的bit位设置为1,这就完成了在布隆过滤器中标记数据的操作;
4.判断是否存在时,得到这个数据在bit数组中对应的N个位置,只要这N个bit 值有一个不为1,就说明数据不存在;

3.3.2 精确度

hash算法存在碰撞的可能,所以不同的数据可能hash为一个下标数据(例如图中hello hash3和word hash2都标记在bitmap[8]),故为了提高精确度就需要使用多个hash算法标记一个数据和增大bitmap的大小。
布隆过滤器判断时:【数据存在】可能数据并不存在【数据不存在】那么数据就一定不存在

小结

可以看出这三种缓存问题都有很大的危害,使用时建议尽量使用预防式方案:
针对缓存雪崩,合理地设置数据过期时间,以及搭建高可靠缓存集群;
针对缓存击穿,在缓存访问非常频繁的热点数据时,不要设置过期时间;
针对缓存穿透,提前在入口前端实现恶意请求检测;
-----------over----------

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,695评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,569评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,130评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,648评论 1 297
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,655评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,268评论 1 309
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,835评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,740评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,286评论 1 318
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,375评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,505评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,185评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,873评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,357评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,466评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,921评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,515评论 2 359

推荐阅读更多精彩内容