SpringBoot+Redis+MemCache+Nginx+Lua实现三级缓存架构(一)——三级缓存架构体系

最近在学习整理软件架构中的三级缓存架构,使用SpringBoot+Redis+MemCache+Nginx+Lua来实现该架构体系,来提高系统的并发访问能力,该三级缓存架构主要适用于对请求并发量比较高的数据变动不是很大的业务场景

三级缓存架构

在博文开始的时候,这里我们需要了解下本博文说的三级缓存架构是什么?

首先确定一点,本博文中的三级缓存不是我们学硬件时的三级缓存,而是在软件开发过程中,在互联网的项目中,通常都是为了解决某些特定业务场景中请求并发量比较大,与数据库请求多的问题,为了减少请求直接访问数据库的次数,通过降低访问数据库的次数来减轻数据库的压力,那如何减轻呢?

那就是使用缓存了,请求过来之后,先从缓存中查询,如果缓存查询到了,就直接返回,否则再从数据库中加载最新的数据到缓存中,然后再返回给数据,这样的话,维护好缓存就能解决数据库的压力了。

image

集成缓存需要考虑的问题

了解到了我们为什么要使用缓存,以及缓存能解决我们什么样的问题。但是使用缓存时也需要注意一些问题:

如果只是单纯的整合Redis缓存,那么可能出现如下的问题

  • 热点数据的大量访问,能对系统造成各种网络开销,影响系统的性能
  • 离散的数据的访问,可以使用Redis缓存来支撑,但是一旦缓存发生雪崩了,或者缓存被击穿了,能造成数据库的压力增大,可能会被打死,造成数据库挂机状态,进而造成服务宕机
  • 缓存雪崩,访问全部打在数据库上,数据库也可能会被打死

为了解决以上可能出现的问题,让缓存层更稳定,健壮,我们使用三级缓存架构

  1. Nginx层缓存

对于高并发的请求,Nginx层有着巨大的作用,能反向代理,负载均衡,动静分离以及和Lua整合,可以实现请求定向分发等非常有用的功能,同理Nginx层可以实现缓存的功能

在我们的三级缓存架构中,Nginx本地缓存,主要是用于承载热数据的高并发访问,在Nginx中通过其他技术的辅助,判断哪些数据是热点数据,然后将热点数据缓存在Nginx本地缓存,当请求过来时,判断本地缓存中是否存在,如果存在着直接返回请求结果(或者展现静态资源的数据),这样的请求不会直接发送到后端服务层,请求的并发量完全取决于Nginx的并发量

其次,Nginx层也可以通过自身的策略配置,可以过滤一些恶意请求,或者限制某些IP的访问都是有些不小的作用

  1. Redis层缓存

当然,并不是所有的数据都是热点数据,大部分还是一些离散数据,再加上Nginx层的数据也有失效时间,当Nginx层数据失效了,还得从服务中获取最新的数据。

Redis有很多的优势,支持分布式大规模缓存,支持海量数据,高并发的访问和高可用的服务,方便横向扩展来扩大数据量,同时Redis可以配置高可用,对于系统的稳定性,有着不言而喻的优势

  1. Tomcat堆缓存

Tomcat堆缓存,主要是抗Redis大规模灾难,如果Redis出现大规模的宕机,导致Nginx请求直接涌入数据生产服务,name我们最后的Tomcat缓存至少可以再抗一下,不至于让数据库直接裸奔

同时tomcat jvm堆内存缓存,也可以抗住redis没有cache住的最后那少量的部分缓存

image
  • 用户请求过来,首先经过Nginx层,Nginx层这里分为双层,一层作为分发层,一层作为应用层
  • 分发层集成Lua,来请求定向(针对同一请求固定打到某一服务上),另一层做数据缓存
  • 如果请求在Nginx的应用层找不到数据,则直接请求到后台服务系统,服务系统到Redis缓存中查询数据
  • Redis中请求到数据直接返回Nginx层,同时将数据缓存到Nginx层中
  • Redis中查询不到数据,则从Tomcat堆缓存中查询数据,如果查询到则直接返回,同时将数据缓存到Reids和Nginx的缓存中
  • Tomcat堆缓存中查询不到数据,则直接请求数据库,然后返回,将数据缓存到Tomcat堆缓存、Redis缓存和Nginx缓存中
  • 这样的话数据库的压力就会非常小了,再加上Ridis的QPS很高,所以整个服务的性能就比较好了

当然三级缓存架构模式只适用于数据变动不是很大,但请求并发量比较大的场景,针对数据变动变动的处理,可以参考我的博文 缓存与数据库双写一致性的解决方案——附上代码解决方案

下一篇博文我们再根据我们的三级缓存架构模型,来搭建我们需要的系统环境:搭建Nginx、Redis集群、SpringBoot集成Memcache缓存以及数据库安装等,然后基于此环境来编码实现简单的场景交互功能

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,686评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,668评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,160评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,736评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,847评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,043评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,129评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,872评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,318评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,645评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,777评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,861评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,589评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,687评论 2 351

推荐阅读更多精彩内容