(5)缓存失效,导致高并发穿透DB的几种解决思路(2)?

问题:当缓存失效时,容易出现高并发的查询DB,导致DB压力骤然上升,这种现象我们称之为缓存穿透。

这篇blog主要是探讨如何在缓存将要失效时,及时地更新缓存,而不是如何在缓存失效之后,如何防止高并发的DB查询

个人认为,当缓存将要失效时,及时地把新的数据刷到缓存里,这个是解决缓存失效瞬间高并发查DB的最好方法。 那么如何及时地知道缓存将要失效?

解决这个问题有几种思路: 

比如一个key是testKey,失效时间是30s

1.定期从DB里查询数据,再刷到缓存里?

缺点:有些业务的key可能是变化,不确定的。而且不好界定哪些数据是应该查询出来放到缓存中的,难以区分冷热数据

2.当缓存取到为null时,加锁去查询DB,只允许一个线程去查询DB  

缺点:这种方式不太靠谱,不多讨论。 而且如果是多个web服务器的话,还是有可能有并发的操作

3.在向缓存写入value时,同时写入当前机器在时间作为过期时间  ?

当get得到数据时,如果当前时间 – 过期时间 > 5s,则后台启动一个任务去查询DB,更新缓存

当然,这里的后台任务必须保证同一个key只有一个线程在执行查询DB的任务,不然这个还是高并发查询DB

缺点:是要把过期时间和value合在一起序列化,取出数据后,还要反序列化。 很不方便

网上大部分文章提到的全都是前面两种方式,有少数文章提到第3种方式。 下面提出一种基于两个key的方法:

4.两个key,一个key用来存放数据,另一个用来标记失效时间?  

比如key是testKey,设置失效时间为30s,则另一个key为expire_testKey,失效时间为25s。用multiget,同时取出testKey和expire_testKey,如果expire_testKey的为null,则后台启动一个任务加锁去查询DB,更新缓存。集群式的部署的,如何实现只允许一个任务执行,用到memcached的add命令,或redis的setnx命令。设置expire_testKey超时过间为3s防止后台任务失败或者阻塞。

缺点:内存翻倍,而且程序上要维护2个key

5.两个key,时间存到value里,结合add/setnx来保证原子性更新缓存?

最近重新思考了下这个问题。 发现第4种两个key的办法比较耗memcached的内存,因为key数翻倍了。 结合第3种方式,重新设计了下,思路如下。

仍然使用2个key方案,但是expire_testKey相当于锁。只允许add/setnx成功的线程去更新数据。更新成功后把expire_testKey进行删除。由于这个expire_testKey存在时间较短不会占用太多缓存内存

优点:节省内存,数据是自然冷热适应的,不用担心集群带来并发风险

总结:

我个人是倾向于第5种方式的,因为很简单,直观。 比第4种方式要节省内存,而且不用mget,在使用memcached集群时不用担心出麻烦事

这种两个key的方式,还有一个好处,就是数据是自然冷热适应的。 如果是冷数据,30秒都没有人访问,那么数据会过期

如果是热门数据,一直有大流量访问,那么数据就是一直热的,而且数据一直不会过期

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,539评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,911评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,337评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,723评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,795评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,762评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,742评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,508评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,954评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,247评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,404评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,104评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,736评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,352评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,557评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,371评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,292评论 2 352

推荐阅读更多精彩内容