nginx静态缓存
Proxy缓存 ngx_http_proxy_module
为什么开启nginx静态缓存,开启nginx好处是什么
缓存就是为了加快访问速度的,避免nginx和后端服务器进行交互,因为一交互就涉及到网络带宽,磁盘进行IO操作查找数据,回复数据也需要网络带宽,web查找数据还需要消耗cpu内存,nginx和后端服务器通讯,本地也需要消耗cpu内存。没有交互能省很多资源。proxy若无缓存就是miss,若有缓存就是hit命中。
Nginx缓存数据由两部分组成
1.缓存的元数据,由配置nginx配置文件中的键值proxy_cache_key uri
args组成,(此key值可以在nginx配置文案中不定义,如果不定义配置文会自己生成)
元数据包括数据的名称,大小,有效期等,是内存开启开启一段空间来给nginx使用的,专门用于保存缓存的元数据。
2.在磁盘中指定目录用来存储真正的数据,根据nginx开启缓存配置里面指定的目录,把真正的缓存数据缓存到指定的文件夹下。
综上:设置nginx的反向代理缓存主要设置两部分内容:一、在内存里面开启一段空间用来存缓存元数据,二、在磁盘中指定目录用来存真正缓存下来的数据。
缓存组成的两部分:
1、共享内存: 存储键和缓存对象元数据
2、磁盘空间:存储数据
定义缓存空间
指令: proxy_cache_path: 不能定义在server{}中
eg:proxy_cache_path /nginx/cache/first levels=2:1:2 keys_zone=first:20m max_size=1G
参数详解:
整个配置的作用就是在nginx服务器本地开辟了一段用来存储缓存数据的内存空间+磁盘空间
keys_zone=name:size:定义存储键的区域(定义共享内存的名称)
/nginx/cache/first:一个目录名,重启nginx服务会在磁盘上自动产生,里面目录用来存放真正的缓存数据,目录/nginx/服务器上必须存在,/nginx/后的目录可以不存在。重启nginx会自动创建出来。
level 2:1:2:nginx生成缓存数据会在指定的目录底下生成3级子目录,真正的缓存数据在最后一级目录里面存放,第一级第二级和第三级的子目录的名称分别是2个字符,1个字符和2个字符,且每一级子目录的名称最多是2个字符,目录名称是随机生成的。这样配置配置的好处是:缓存数据比较多的时候,分类存放,nginx的查找速度会快一些。
keys_zone:在内存里面开辟一片区域,first是为开启的区域起的名字
20m:开启的内存大小为20m,用来保存元数据
max_size:指定/nginx/cache/first中的1G空间用于存储缓存数据 ,可根据自己的需求调整
代理服务器缓存过期
proxy_cache_valid 200 302 10m; #返回值为200和302缓存10min
proxy_cache_valid 404 1m; #返回值为404缓存1min
缓存维度
Syntax: proxy_cache_key string;
Default: proxy_cache_key proxy_host$request_uri;
nginx的内部变量scheme是协议名,proxy_host是缓存服务器主机名,$request_uri是请求的路径。将他们做为整体hash成一个key,缓存到目录中
Context: http, server, location
Nginx缓存配置示例:
定义缓存存放路径为/web/cache,缓存级别为2级,即location后面匹配到的缓存两级目录,多了不缓存 缓存的内容最多使用1G空间; 并定义键值区域名称为first,名字占的空间大小为20m,60分钟之内没有人用就删掉
proxy_cache_path /web/cache levels=1:2 keys_zone=first:20m max_size=1g inactive=60m;
定义一段缓存空间之后,想要启用缓存功能,需要在某一个locaiton里面写下面两行
proxy_cache first; first就是上面定义的指定缓存元数据的区域空间名称
proxy_cache_valid 200 304 1m; 表示nginx只缓存状态码为200和304的响应数据,且数据在缓存时,有效期为1min,(笔记最后有对状态码的介绍)
proxy_cache_valid any 10m;其他的缓存10分钟
proxy_cache_key $host$uri$is_args$args; 使用什么做key,可以不定义,系统自动定义名字
在httpd响应报文中添加额外项X-cache,用于查看缓存是否命中,可加可不加的
add_header x-cache "$upstream_cache_status by $server_addr";
添加一个头部名称为x-cache,头部里面的内容是:nginx内部的两个变量:
$upstream_cache_status: 用于记录缓存是否命中的状态 (HIT, MISS, EXPIRED)
$server_addr 服务器地址
在浏览器中F12-------->网络-------->查看HTTP响应报文
X-cache:HIT by 192.168.122.153信息,表示缓存命中
miss by 192.168.122.153信息,表示首次访问
proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;
#收到50x代号,向上游服务器重新请求一次
http {
...
#gzip on;
upstream websrv {
server 192.168.122.105 weight=1 max_fails=2 fail_timeout=2;
server 192.168.122.121 weight=1 max_fails=2 fail_timeout=2;
server 127.0.0.1:8080 backup;
}
proxy_cache_path /web/cache levels=1:2 keys_zone=first:20m max_size=1g;
add_header x-cache "$upstream_cache_status by $server_addr";
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://websrv/;
proxy_cache first; >>>>使用内存first中保存的缓存
proxy_cache_valid 200 304 12h;
#proxy_cache_key $host$uri$is_args$args;
add_header Nginx-Cache "$upstream_cache_status";
proxy_set_header X-Real-IP $remote_addr;
proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;
}
HTTP状态码之200和304
HTTP状态码(HTTP Status Code)是一种表示网页服务器响应状态的三位数字编码。通过这些数字,可以简化状态的表达。状态码有几十种,其中首位数字为1-5。根据这5个数字,状态码可以分为5类。1开头的表示请求正在处理;2开头请求已经成功处理;3开头表示重定向;4开头表示请求错误;5开头表示服务器错误。
在嗅探抓包过程中,常见的有两种200和304。这两个状态码都关系到能否获取重要信息。当客户第一次请求服务器资源,服务器成功返回资源,这时状态码为200。所以,状态码为200的数据包往往包含用户从服务器获取的数据。
每个资源请求完成后,通常会被缓存在客户端,并会记录资源的有效时间和修改时间。当客户再次请求该资源,客户端首先从缓存中查找该资源。如果该资源存在,并且在有效期,则不请求服务器,就不会产生对应的请求数据包。
如果不在有效期,客户端会请求服务器,重新获取。服务器会判断修改时间,如果没有修改过,就会返回状态码304,告诉客户端该资源仍然有效,客户端会直接使用缓存的资源。针对304的响应,渗透人员可以分析对应的请求包,获取资源路径。如果该资源不限制访问,就可以直接请求获取。否则,就需要进行Cookie劫持,进行获取。