Nginx 的过滤模块是干啥用的?

上一篇文章我写了 Nginx 的 11 个阶段,很多人都说太长了。这是出于文章完整性的考虑的,11 个阶段嘛,一次性说完就完事了。今天这篇文章比较短,看完没问题。

过滤模块的位置

之前我们介绍了 Nginx 的 11 个阶段,在 content 阶段时,Nginx 会生成返回给用户的响应内容,对用户的响应内容,实际上还需要做再加工处理,Nginx 的过滤模块就是对响应内容进行再加工处理的。所以实际上过滤模块位于 content 阶段之后,log 阶段之前。

我们先来看一段配置指令:

limit_req zone=req_one
burst=120;
limit_conn c_zone 1;

satisfy any;
allow 192.168.1.0/32;
auth_basic_user_file access.pass;

gzip on;
image_filter resize 80 80;

那么在这一段配置指令之下,会遵循怎样的请求流程呢?请看一下下面这张图:

上面这张图的流程大致说一下,如果对于 Nginx 的 11 个阶段不了解的去翻一下之前的文章。

我这里再简单说一下。首先由 Nginx 框架接收 HTTP 请求,经过 preaccess、access、content 阶段的处理,当经过 static 模块之后生成响应的时候,很多时候需要对响应进行处理,然后才会返回给客户端。

这里我们假如响应是一张图片的话,那么需要做缩略图的时候,首先就要经过 image_filter 模块的处理。这里面还有一个 gzip 模块,这两个模块也是需要遵循严格的顺序的。因为如果先做 gzip 压缩的话,缩略图后面就没办法做了。

第二个需要关注的地方是,首先对 header 进行过滤,再对 body 进行过滤。因为我们在对用户发送响应的时候,一定是先发送 header,然后再发送 body,所以所有的过滤模块都会提供对 header 或 body 的过滤,当然 image_filter 和 gzip 模块对这两者都可以过滤。

返回响应

前面我们说过,Nginx 的 11 个阶段是有严格的顺序的,而这个顺序是在 Nginx 的代码中以一个数组的形式存在的,这个数组的顺序是从后往前。在给用户返回响应的时候,过滤模块也是有严格顺序的,这个顺序同样是从后往前。来看一下在代码中的定义,标红的是我下面会提到的几个过滤模块。

我们需要重点关注四个过滤模块,它们分别的作用是啥呢?

  • copy_filter:复制包体内容

    当我们使用 sendfile 指令的时候,也就是零拷贝技术,不经过用户态内存,这里就是不经过 Nginx 直接发给用户,同时也用了 gzip 模块的时候,gzip 是必须在 copy_filter 模块之后的,因为 gzip 必须对内存中的数据做压缩,这时 copy_filter 就会让 sendfile 指令失效。有些模块不需要对内存中的数据进行处理,就需要在 copy_filter 模块之前进行处理。

  • postpone_filter:处理子请求

    用来处理子请求,有些过滤模块需要关心子请求的处理结果,需要放在该模块之后。

  • header_filter:构造响应头部

    用来构造最终发送给用户的响应头部,可能会添加一些 Server,Nginx 版本号等内容。

  • write_filter:发送响应

    用来实际调用操作系统的 write 或 send 等系统调用,来把响应实际发送出去。

介绍完了过滤模块的功能以及所处的阶段,下面来具体看两个模块。

sub 模块

介绍一个可以替换响应中字符串内容的模块:sub 模块。

  • 功能:将响应中指定的字符串,替换成新的字符串
  • 模块:ngx_http_sub_filter_module 模块,默认未编译进 Nginx,通过 --with-http_sub_module 启用

指令

Syntax: sub_filter string replacement;
Default: —
Context: http, server, location

Syntax: sub_filter_last_modified on | off;
Default: sub_filter_last_modified off; 
Context: http, server, location

Syntax: sub_filter_once on | off;
Default: sub_filter_once on; 
Context: http, server, location

Syntax: sub_filter_types mime-type ...;
Default: sub_filter_types text/html; 
Context: http, server, location

来解释一下这四个指令都是啥意思。

  • sub_filter string replacement

    sub_filter 指令会把匹配到的 string 字符串替换成 replacement 表示的字符串。

  • sub_filter_last_modified on | off

    sub_filter_last_modified 指令的意思是,是否要返回原来的 last_modified HTTP 头部,因为我们已经修改了文件内容,如果是 on 的话,就会继续返回原来的头部。

  • sub_filter_once on | off

    sub_filter_once 的意思是,是否只替换一次,默认打开,如果设置为 off 的话,那就会将响应中的内容全部扫描一遍并替换。

  • sub_filter_types mime-type

    这个指令是说针对那些文件类型进行替换,这里可以设置成 *,但是效率就会比较低了,需要根据实际情况考虑。

实战

配置文件如下:

server {
    server_name sub.ziyang.com;
    error_log  logs/myerror.log  info;
    
    location / {
        sub_filter 'Nginx.oRg'  '$host/nginx';
        sub_filter 'nginX.cOm' '$host/nginx';
        #sub_filter_once on;
        sub_filter_once off;
        #sub_filter_last_modified off;
        sub_filter_last_modified on;
    }   
}

这里需要重新编译 Nginx,我这里把下一节需要的模块也一起编译进去了:

./configure --prefix=/Users/mtdp/myproject/nginx/test_nginx --with-http_sub_module --with-http_addition_module --with-http_realip_module
make
cp nginx ../../test_nginx/sbin/ # 复制编译好的 nginx 到之前的目录

执行热部署:

热部署的流程详见 Nginx 入门及命令行操作

kill -USR2 87693 # 使用新的 Nginx 二进制文件提供服务
kill -WINCH 87693 # 退出老的 Nginx 的 worker 进程
kill -quit 87693 # 优雅的退出老的 master 进程

在浏览器中打开 sub.ziyang.com:

这里面会发现,nginx.org 已经替换成了 sub.ziyang.com/nginx,nginx.com 也替换成了 sub.ziyang.com/nginx。

addition 模块

下面再来看一个过滤模块,addition 模块,它可以在响应的前后添加内容。

  • 功能:在相应前或者响应后增加内容,增加内容的方式,是通过新增子请求,根据子请求的响应来完成。

  • 模块:ngx_http_addition_filter_module

    默认未编译进 Nginx,通过 --with-http_addition_module 启用

指令

Syntax: add_before_body uri;
Default: —
Context: http, server, location

Syntax: add_after_body uri;
Default: —
Context: http, server, location

Syntax: addition_types mime-type ...;
Default: addition_types text/html; 
Context: http, server, location

这里的三个指令都比较简单,说一下 add_before_bodyadd_after_body 后面的 uri,这个的意思是说,向指定 uri 发起子请求,根据子请求的响应来添加内容。

addition_types 指令是指定要添加的文件类型。

实战

配置文件如下:

server {
    server_name addition.ziyang.com;
    error_log logs/myerror.log info;
    
    location / {
        #add_before_body /before_action;
        #add_after_body  /after_action;
        #addition_types *;
    }   
    location /before_action {
        return 200 'new content before\n';
    }
    location /after_action {
        return 200 'new content after\n';
    }
    location /testhost {
        uninitialized_variable_warn on;
        set $foo 'testhost';
        return 200 '$gzip_ratio\n';
    }
}

先看在注释掉 addition 模块的指令的情况下,会是什么效果:

➜  ~ curl addition.ziyang.com/a.txt
a

然后打开注释:

➜  ~ curl addition.ziyang.com/a.txt
new content before
a
new content after

在原响应前后都增加了内容。

这里面需要注意一点,在实际情况下,add_before_bodyadd_after_body 后面是其他的 uri,我这里为了简化,直接转发到对应的 location。

本文涉及到的所有配置文件我已经放在了 Nginx 配置文件,大家可以自取。


本文首发于我的个人博客:iziyang.github.io

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,053评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,527评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,779评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,685评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,699评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,609评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,989评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,654评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,890评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,634评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,716评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,394评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,976评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,950评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,191评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,849评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,458评论 2 342