Redis缓存优化

作用:加速读写,降低数据库的访问负载

存在的问题:数据不一致,缓存层和数据层有段时间不一致问题,与更新策略有关

缓存更新策略

1.LRU/LFU/FIFO算法剔除

  • maxmemory-policy: 最大内存剔除策略 过期键执行LRU

2.超时剔除

  • expire:设置过期时间(问题是没过期时数据变化,数据不一致)

3.主动更新

  • 开发控制生命周期,删除缓存重新获取数据

推荐使用更新策略:

1.低一致性:最大内存

2.高一致性:超时与主动更新结合,最大内存防备(避免内存超过最大内存出现问题)

缓存粒度控制
  1. 在MySQL中获取数据如:select * from user where id={id}

  2. 设置用户信息缓存如:set user:{id} "用户数据"

  3. 缓存的粒度:

    • 全部属性字段

    • 部分重要字段

比较:

  • 通用性:全量属性更好
  • 占用空间:部分属性更好
  • 代码维护:表面上全量属性更好

综合具体数据使用不同的粒度,对用户数据容易扩展使用全量,对于开发的一些功能可能后期不会有很大变化使用部分属性

缓存雪崩

缓存层服务异常,大量请求直接达到存储层,造成故障,

1.保证缓存的高可用

  • 如:redis cluster, redis sentinel

2.使用隔离组件限流

  • 如:Hystrix

3.提前演练

  • 如:压力测试

优化io的方法:

1.命令本身优化 如:慢查询key hgetall

2.减少网络通信的次数

3.降低接入成本 如:长连接连接池

批量优化方法:

1.串行mget

2.串行io

  • pipeline流水线

3.并行io

  • 使用并行特性
缓存穿透

访问的数据缓存中没有,继续请求存储层,如果存储层也没有数据,大量请求会到存储层加大存储层的负载

发现缓存穿透:

1.业务的请求时间

2.业务出现问题

3.监测指标:缓存命中数,存储层命中数,采集每分钟的变化

解决方法:

1.缓存空对象(确定数据不存在 ,设置过期时间10min根据具体业务定 ,减少storage的负载)

  • 存在的问题:

    1.需要更多的键(设置过期时间,避免导致后面的数据问题)

    2.缓存层与存储层短期不一致(使用订阅消息,有数据刷新缓存)

2.布隆过滤器拦截

所有的key放到布隆过滤器中,不存在的key进行拦截 ,需要实时更新布隆过滤器中的key

热点key重建

热点key访问量大,重建的时间长,导致很多线程重建,加大了存储层负载

解决方法:

1.互斥锁 mutex lock

  • 缺点:会有大量线程阻塞

2.永不过期

没有设置过期时间,为每个value设置逻辑过期时间,超过逻辑过期时间使用单独的线程去重建缓存

  • 缺点:过期到缓存重建的时间间隙数据不一致
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,163评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,301评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,089评论 0 352
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,093评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,110评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,079评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,005评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,840评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,278评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,497评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,667评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,394评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,980评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,628评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,649评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,548评论 2 352

推荐阅读更多精彩内容

  • 今天看到一位朋友写的mysql笔记总结,觉得写的很详细很用心,这里转载一下,供大家参考下,也希望大家能关注他原文地...
    信仰与初衷阅读 4,730评论 0 30
  • 缓存能够有效地加速应用的读写速度,同时也可以降低后端负载,对日常应用的开发至关重要。但是将缓存加入应用架构后也会带...
    super_pcm阅读 357评论 0 0
  • Swift1> Swift和OC的区别1.1> Swift没有地址/指针的概念1.2> 泛型1.3> 类型严谨 对...
    cosWriter阅读 11,096评论 1 32
  • 一、缓存穿透预防及优化 缓存穿透是指查询一个根本不存在的数据,缓存层和存储层都不会命中,但是出于容错的考虑,如果从...
    一只想飞的猪_85e2阅读 1,321评论 1 15
  • 觉得脑袋像一块石头,像挑西瓜那样敲一敲,听声音——好瓜。 我的记忆已经十分不可靠了。这让我感到惶恐。我为什么没有把...
    槿篁阅读 221评论 0 0