Nginx原理

一、Nginx的模块

Nginx由内核和模块组成,其中,内核的设计非常微小和简洁,完成的工作也非常简单,仅仅通过查找配置文件将客户端请求映射到一个location block(location是Nginx配置中的一个指令,用于URL匹配),而在这个location中所配置的每个指令将会启动不同的模块去完成相应的工作。

Nginx的模块从结构上分为核心模块、基础模块和第三方模块:

  • 核心模块:HTTP模块、EVENT模块和MAIL模块
  • 基础模块:HTTP Access模块、HTTP FastCGI模块、HTTP Proxy模块和HTTP Rewrite模块,
  • 第三方模块:HTTP Upstream Request Hash模块、Notice模块和HTTP Access Key模块。

Nginx的模块从功能上分为如下三类。

  • Handlers(处理器模块)。此类模块直接处理请求,并进行输出内容和修改headers信息等操作。Handlers处理器模块一般只能有一个。
  • Filters (过滤器模块)。此类模块主要对其他处理器模块输出的内容进行修改操作,最后由Nginx输出。
  • Proxies (代理类模块)。此类模块是Nginx的HTTP Upstream之类的模块,这些模块主要与后端一些服务比如FastCGI等进行交互,实现服务代理和负载均衡等功能。
image.png

Nginx本身做的工作实际很少,当它接到一个HTTP请求时,它仅仅是通过查找配置文件将此次请求映射到一个location block,而此location中所配置的各个指令则会启动不同的模块去完成工作,因此模块可以看做Nginx真正的劳动工作者。通常一个location中的指令会涉及一个handler模块和多个filter模块(当然,多个location可以复用同一个模块)。handler模块负责处理请求,完成响应内容的生成,而filter模块对响应内容进行处理。

Nginx的模块直接被编译进Nginx,因此属于静态编译方式。启动Nginx后,Nginx的模块被自动加载,不像Apache,首先将模块编译为一个so文件,然后在配置文件中指定是否进行加载。在解析配置文件时,Nginx的每个模块都有可能去处理某个请求,但是同一个处理请求只能由一个模块来完成。

二、Nginx的多进程IO模型

1. IO模型:blocking I/O
image.png

从图宏观来看,左侧为应用程序,右侧为内核,当应用程序的进程使用recvform函数发起对内核的调用,内核开始准备数据,一般来说内核需要收到一个完整的数据包(如UDP),不会很快,因此应用程序的进程处于阻塞等待的状态,待内核将数据准备好,它将数据从内核拷贝到用户内存,内核才会返回结果,然后应用程序解除阻塞状态,去处理下一步请求,从本次过程,做过开发的基本都能理解,平时程序都是属于这种阻塞的同步调用方式。

2. IO模型:nonblocking I/O
image.png

从图可以看出,应用程序进程当使用recvform函数对内核发起调用时,内核立即返回一个数据没有准备好的结果,进程通过轮询不断的去请求内核,询问数据是否给老子准备好了,知道内核返回结果,说已经准备好了,进程才结束轮询。

跟阻塞IO对比,进程本地不必阻塞等待,而是隔三差五的通过轮询调用,在这个过程中,会大量的占用CPU的时间,所以一般Web服务器都不使用这种I/O模型。

3. IO模型:I/O multiplexing (select and poll)
image.png

多路复用模型新增了几个函数:select、poll、epoll(Linux2.6以后的内核开始支持),这几个函数也会使进程阻塞,但是和阻塞I/O所不同的,这两个函数可以同时阻塞多个I/O操作,而且可以同时对多个读操作,多个写操作的I/O函数进行监测,直到有数据可读或可写时,才真正调用I/O操作函数,说直白一点就是他们可以监控多个内核的IO操作,一个顶仨,一个select会监测多个socket,当内核准备好其中一个数据时,select会立即通知进行,赶快使用recvform调用内核,让内核抓紧开始拷贝数据到用户内存,如此,它比阻塞IO好处就是一次能处理多个连接,而阻塞IO只能处理一个。

其中还有一个点,就是epoll、poll要比select要高级一点,他们是无轮询的,因为他们用callback,select需要通过遍历Socket来完成调度,如果socket多,那肯定是需要浪费CPU时间的,而epoll和poll使用回调函数,给套接字注册个回调函数,当他们活跃时,自动完成相关操作,就避免了轮询,这些函数实际是阻塞进程的。

4. IO模型:signal driven I/O (SIGIO)
image.png

信号驱动IO,应用程序进程建立SIGIO处理函数调用内核,内核会立即返回数据没有准备好的信号,进程不再阻塞,待内核准备好后,发送SIGIO信号给用户进程,然后用户进程通过阻塞的方式使用recvform函数调用内核,让内核把数据拷贝到用户内存,并返回拷贝结果。看到此处是不是似曾相识,其实这有点回调的意思了。

5. IO模型:asynchronous I/O (the POSIX aio_functions)
image.png

异步IO,也就是AIO,这个过程其实就非常简单,应用程序进程调用内核,内核返回数据没有准备好消息,进程继续去干别的事情,待内核准备好数据,并且拷贝到用户内存,才通知进程已完成数据拷贝,因此,可以看出这种IO方式是效率最高的。

三、nginx的优化

1. nginx.conf优化
user nginx ;  
pid /var/run/nginx.pid;
worker_processes auto;          #定义了nginx对外提供web服务时的worder进程数。
worker_rlimit_nofile 100000;    #worker进程的最大打开文件数限制
2. Events模块
events {
    worker_connections 2048;    #设置可由一个worker进程同时打开的最大连接数
    multi_accept on;            #告诉nginx收到一个新连接通知后接受尽可能多的连接
    use epoll;                  #用于复用客户端线程的轮询方法
}
3. HTTP 模块
http {
    server_tokens off;          #关闭在错误页面中的nginx版本
    sendfile on;                #
    tcp_nopush on;              #告诉nginx在一个数据包里发送所有头文件,而不一个接一个的发送
    tcp_nodelay on;             #告诉nginx不要缓存数据,而是一段一段的发送
                                #当需要及时发送数据时,就应该给应用设置这个属性,
                                #这样发送一小块数据信息时就不能立即得到返回值。
    access_log off;
    error_log /var/log/nginx/error.log crit;
    ...
}
timeout设置
    keepalive_timeout 10;       #给客户端分配keep-alive链接超时时间。服务器将在这个超时时间过后关闭链接。

    client_header_timeout 10;   #设置请求头
    client_body_timeout 10;     #和请求体(各自)的超时时间。我们也可以把这个设置低些。

    reset_timedout_connection on;
                                #告诉nginx关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间。
    send_timeout 10;            #在两次客户端读取操作这段时间内,客户端没有读取任何数据,nginx就会关闭连接。
连接限制
    limit_conn_zone $binary_remote_addr zone=addr:5m;
                                #设置用于保存各种key(比如当前连接数)的共享内存的参数
    limit_conn addr 100;        #我们允许每一个IP地址最多同时打开有100个连接
type
    include /etc/nginx/mime.types;
    default_type text/html;
    charset UTF-8;
gzip
    gzip on;                            #采用gzip压缩的形式发送数据
    gzip_disable "msie6";               #为指定的客户端禁用gzip功能

    # gzip_static on;
    gzip_proxied any;                   #允许或者禁止压缩基于请求和响应的响应流。我们设置为any,意味着将会压缩所有的请求
    gzip_min_length 1000;               #设置对数据启用压缩的最少字节数
    gzip_comp_level 4;                  #设置数据的压缩等级。这个等级可以是1-9之间的任意数值,9是最慢但是压缩比最大的
    gzip_types text/plain
              text/css
              application/json
              application/x-javascript
              text/xml
              application/xml
              application/xml+rss
              text/javascript;          #设置需要压缩的数据格式
file_cache
    open_file_cache max=100000 inactive=20s;
                                #打开缓存的同时也指定了缓存最大数目,以及缓存的时间。
                                #我们可以设置一个相对高的最大时间,这样我们可以在它们不活动超过20秒后清除掉
    open_file_cache_valid 30s;  #在open_file_cache中指定检测正确信息的间隔时间。
    open_file_cache_min_uses 2; #定义了open_file_cache中指令参数不活动时间期间里最小的文件数。
    open_file_cache_errors on;  #指定了当搜索一个文件时是否缓存错误信息

    include /etc/nginx/conf.d/*.conf;
buffer
    server_names_hash_bucket_size 128;  #服务器名字的hash表大小
    client_header_buffer_size 32k;      #用于设置客户端请求的Header头缓冲区的大小,一般1kb就够用
    large_client_header_buffers 4 64k;  #设置客户端请求的Header头缓冲区大小,默认为4K。客户端请求行不能超过设置的第一个数,请求的Header头信息不能大于设置的第二个数,否则会报"Request URI too large"(414)或“Bad request”(400)错误。如果客户端的Cookie信息较大,则需增加缓冲区大小
    client_max_body_size 8m;            #上传文件大小限制
4. proxy_pass
    proxy_buffering    off;
    proxy_buffer_size  128k;
    proxy_buffers 100  128k;
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,313评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,369评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,916评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,333评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,425评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,481评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,491评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,268评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,719评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,004评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,179评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,832评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,510评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,153评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,402评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,045评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,071评论 2 352

推荐阅读更多精彩内容

  • 什么是Nginx? Nginx是一个高性能的HTTP和反向代理服务器,也是一个IMAP/POP3/SMTP服务器N...
    jiangmo阅读 2,536评论 1 9
  • 1. Nginx的模块与工作原理 Nginx由内核和模块组成,其中,内核的设计非常微小和简洁,完成的工作也非常简单...
    rosekissyou阅读 10,206评论 5 124
  • Nginx才短短几年,就拿下了web服务器大笔江山,众所周知,Nginx在处理大并发静态请求方面,效率明显高于ht...
    松江野人阅读 1,073评论 0 2
  • I/O模型Nginx介绍Nginx的安装和目录结构Nginx的配置Nginx的编译安装 一、I/O模型 (一)I/...
    哈喽别样阅读 890评论 0 4
  • 有人路过我的前世 亦有人流连于我的今生 年少轻狂时 总以为三年五载约等于一生一世 买过一对很漂亮的耳环 一分为二后...
    瓊楼小閣主阅读 190评论 0 0