作者：徐贤军，12年加入京东系，从事架构设计与开发工作；在架构设计、系统优化上有较丰富实战经历

        天下武功唯快不破，如再配上如葵花宝典那样的秘籍，不能说人人都可以成东方不败那样的武林至尊，至少可以修炼成为林平之这样的高手；缓存是我们系统性能提升优先法宝，在互联网应用系统中，屡试不爽，网上有很多资料介绍缓存理论及使用策略，在这就不涉及，只是归归类，分享以前自己碰到场景及如何使用。

        接下来主要分两部分介绍：缓存分类与应用实践案例；

缓存分类

      常见有以下几类：客户端、浏览器、CDN缓存、NGINX缓存、应用缓存及统一缓存(如redis)；

缓存分类：用户->数据层

      客户端缓存：很少使用，一般都是传统企业会使用；把不变化或很长时间才变化数据按一定格式存储在客户端的本地文件中，使用时通过js读取解析使用，延用了C/S结构的方式，适合数据量很大业务且技术有所不足的开发。

      浏览器缓存：这种使用很广泛，极大地提升了用户体验，但有时没及时更新导致显示“错误”的信息；把已经请求过的Web资源（如html页面，图片，js，css等）拷贝一份副本储存在浏览器中，缓存会根据进来的请求保存输出内容的副本；带来的好处有三点：减少网络带宽消耗；降低服务器压力；减少网络延迟，加快页面打开速度；适合请求量大、静态的数据请求。

      CDN缓存：是在用户和服务器之间增加cache层，把数据存放到内容分发网络机房服务器中，用户请求进从最近的CDN节点获取；也主要缓存图片、js及css文件；CDN需要付费，有些规模的网站才会使用；

      NGINX缓存：对客户已经访问过的内容在Nginx服务器本地建立副本，达到减少Ｎginx服务器与后端服务器之间的网络流量；

      应用缓存：是指在后端应用中使用缓存，如java常使用中Ehcache及gauva缓存组件进行数据缓存；也可以针对特殊场景在请求中进行线程缓存；适合调用量大且应用内部方法间调用，减少网络消耗；

      统一缓存：使用内存减少对数据库的直接访问,提高网站性能；如使用memcache或redis搭建缓存服务；

        前四类都是在网络传输中进行数据缓存，一般是研发很少去具体使用；后两类在应用中缓存，在开发中经常使用，接下来介绍下该种类的实践；

实践案例

1、热点key

      场景：在大促期间，给所有活动页及频道页提供侧滑html片段数据，会有修改；特点：数据记录少，调用量比较大(峰值400万/分钟)；

      在接到需求时，第一反应使用redis进行缓存，数据更新时删除redis缓存；读取时先读取redis,缓存为空，读取DB并存放redis; 该场景是使用redis当缓存使用，存在一定风险：由于数据量少并发高时，成为热点key会集中命中单个redis实例，流量上去后，性能会变差，甚至可能拖垮实例；

      进一步改进本地JVM缓存加redis缓存，JVM缓存一分种失效，回源redis及数据库；存在集中穿透缓存回源数据库拖垮应用或数据库情况，之前有过缓存失效，集中回源数据库经历，结果应用服务一台台倒下，数据库没有压力；事后分析是数据库配置最大连接数为10，外部请求超时时间为500ms，不断有新请求进来，大量请求在等待连接！最后选择在JVM使用ConcurrentMap存放当DB使用，1分钟异步刷新数据；

      在大促当天，页面该请求返回性能不太理想，数据返回大概73KB，使用Nginx增加gzip压缩后，数据压缩到13KB，性能提高不少；后续在Nginx增加代理缓存，性能稳定；

2、类目中心设计

      类目是电商领域最基础数据，使用依赖的系统很多很多，早期是各个系统直接从数据库读取并自行缓存使用，人为给数据库增压；为了避免该情况，着手搭建类目中心，对性能及稳定要求是极致，类目中心服务异常不能影响使用方，类目更新后要及时同步给使用方；

      经过多次讨论，确认使用三级缓存：客户端缓存、类目系统jvm缓存及统一redis缓存；

类目中心--读

      客户端缓存：在对外提供api依赖包中进行缓存封装，通过调用类目系统接口提供缓存后的服务方法；缓存数据记录失效时间，调用时发现缓存数据已失效时，更新失效时间并返回，异步请求类目中心数据刷新；若缓存没有命中，回源请求类目中心；客户端会定时检测类目版本信息，若版本更新变化，客户端数据强制更新。

      类目系统jvm缓存：使用jvm缓存，若有过期异步回源统一缓存redis，穿透直接回源redis；

      统一缓存redis：当DB使用，不回源数据库，并定时从数据库把数据刷新至redis中；为了多个避免并发刷新，使用redis实现排它锁，保证只一个任务刷新；

      数据更新请求，有一定的规则：

      1、更新数据库，保证数据库是正确数据，后续步骤异常也可通过定时全量更新弥补；

      2、更新redis缓存；

      3、更新类目中心所有实例JVM缓存：由于系统是多实例集群，需要通知所有实例更新JVM缓存；

      4、更新版本号：用于客户端查验强制更新标识；一定需要JVM更新完成之后，否则客户端可能获取到更新前的“错误”数据；

类目中心--更新

      客户端95%的请求被客户端缓存命中，调用次数3700万/分钟，性能TP999为1ms；

客户端调用次数

客户端性能

      服务端请求次数3000万/分钟也没有压力，单实例现实际调用次数150万/分钟

服务端调用次数

最后

      缓存不仅能当缓存，也可以当DB使用，避免穿透；

      数据的更新分主动缓存及被动缓存；

      需要解决数据的一致性及有效性；

      如何使用，怎么组合，缓存什么数据都需要结合业务场景，也需要一步步观察、总结才能优化；

缓存更新内存

面试内存