Nginx作为webserver的搭建和优化配置手册

安装步骤
1、安装pcre
将pcre-8.32.rar解压,上传到服务器/usr/local目录下,执行:

cd /usr/local/pcre-8.32
chmod +x configure
./configure
make
make install

2、安装Nginx
安装nginx,将nginx-1.10.1.tar.gz上传到服务器的到/usr/local目录下,进行解压:

cd /usr/local
tar -zxvf nginx-1.10.1.tar.gz
cd nginx-1.10.1
./configure --prefix=/usr/local/nginx --with-pcre=/usr/local/pcre-8.32/
make
make install

Nginx配置
nginx配置,配置文件路径:/usr/local/nginx/conf/nginx.conf

下面这个完整的nginx.conf,概括了常见的几种nginx服务,包括图片等静态资源缓存、反向代理(负载均衡)、本地代理、正向代理等,可根据需要选用。

worker_processes  auto; #根据服务器cpu调整子进程数

error_log  logs/error.log  crit;
pid        logs/nginx.pid;

events {
    worker_connections  65535;
    use epoll;
}

http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    keepalive_timeout  65;

    proxy_cache_path /tmp/nginx_cache/image levels=1:2 keys_zone=image-cache:1024m max_size=10g inactive=1d;
    proxy_temp_path /tmp/nginx_cache/tmp; #设置缓存图片的路径,有效时间1天硬盘缓存空间10G内存缓存空间1G

    proxy_pass_header Server;
    proxy_set_header Host $http_host;
    proxy_redirect off;
    proxy_http_version 1.1;
    proxy_set_header Connection "";
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Scheme $scheme;

    client_max_body_size    3000m; #设置默认上传文件大小

    #反向代理
    upstream portal_service_pool {
        ip_hash;#默认为轮询,可修改为iphash
        server 192.168.105.64:8080;
        server 192.168.105.65:8080;
        server 192.168.105.30:8080 down;
        keepalive 8192;
    }

    server {
        listen 9090;

        charset utf-8;

        location / {
            proxy_pass http://portal_service_pool;
        }

    }

    #图片服务代理
    server {
    listen 8082;
    charset utf-8;

    location / {
        proxy_cache image-cache; #缓存路径名称
        proxy_cache_key $scheme$proxy_host$uri$is_args$args; #保存的键值格式
        proxy_cache_valid 200 304 1d; #过期时间,这个是不管有没有访问,都1天过期
        proxy_pass http://192.168.105.77:8082;
    }
    }
    #代理本地服务端口,提供文件下载
    server {
        listen 8765;
        charset utf-8;

        location / {
            root /home/jsserver/;
        }
    }
    #正向代理,提供内网服务器联网
    server {
        listen       8000;
        server_name  proxy;

        resolver 114.114.114.114;

        location / {
            proxy_pass $scheme://$http_host$request_uri;
            proxy_set_header Host $http_host;

            proxy_buffers 256 4k;
            proxy_max_temp_file_size 0;
        }
    }
}

Nginx运行调优
1、服务器ulimit优化
通过ulimit -n命令可以查看linux系统里打开文件描述符的最大值,一般缺省值是1024,对一台繁忙的服务器来说,这个值偏小,所以有必要重新设置linux系统里打开文件描述符的最大值。

这个值可用ulimit 命令来修改,如:

ulimit -n 65535
但ulimit命令修改的数值只对当前登录用户的目前使用环境有效,系统重启或者用户退出后就会失效。

vim /etc/security/limits.conf

文件末尾追加

  • soft nofile 65535
  • hard nofile 65535
    重新登录shell,通过ulimit -n 或者 ulimit -a 查看是否生效

2、内核参数优化
Nginx提供高并发的代理服务时,一般都需要进行系统内核网络参数优化。

将/etc/sysctl.conf文件清空,把以下内容复制进去;

net.ipv4.ip_forward = 0
net.ipv4.conf.default.rp_filter = 1
net.ipv4.conf.default.accept_source_route = 0
kernel.sysrq = 0
kernel.core_uses_pid = 1
net.ipv4.tcp_syncookies = 1            //这四行标红内容,一般是发现大量TIME_WAIT时的解决办法
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.shmmax = 68719476736
kernel.shmall = 4294967296
net.ipv4.tcp_max_tw_buckets = 6000
net.ipv4.tcp_sack = 1
net.ipv4.tcp_window_scaling = 1
net.ipv4.tcp_rmem = 4096 87380 4194304
net.ipv4.tcp_wmem = 4096 16384 4194304
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.core.netdev_max_backlog = 262144
net.core.somaxconn = 262144
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_timestamps = 1            //在net.ipv4.tcp_tw_recycle设置为1的时候,这个选择最好加上
net.ipv4.tcp_synack_retries = 1
net.ipv4.tcp_syn_retries = 1
net.ipv4.tcp_tw_recycle = 1 //开启此功能可以减少TIME-WAIT状态,但是NAT网络模式下打开有可能会导致tcp连接错误,慎重。
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 30
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.ip_conntrack_max = 6553500
然后执行systcl –p刷新设置。

记一次小事故:

net.ipv4.tcp_tw_recycle = 1

这个功能打开后,确实能减少TIME-WAIT状态,习惯上我都会将这个参数打开。

但是也因为这个参数踩过一次坑:

公司的一个发布新闻的CMS后台系统,采用haproxy+keepalived代理架构,后端的real server服务器外网ip全部拿掉。

现象:在某一天早上发文高峰期,CMS后台出现访问故障,重启php服务后会立刻见效,但持续一段时间后,访问就又出现故障。

排查nginx和php日志也没有发现什么,后来google了一下,发现就是net.ipv4.tcp_tw_recycle这个参数捣的鬼!

这种网络架构对于后端的realserver来说是NAT模式,打开这个参数后,会导致大量的TCP连接建立错误,从而引起网站访问故障。

最后将net.ipv4.tcp_tw_recycle设置为0,关闭这个功能后,后台访问即刻恢复正常

Nginx启动
启动nginx,执行以下指令可以启动nginx,

cd /usr/local/nginx/sbin
./nginx

并且nginx支持热部署,即可以再不停止nginx服务的情况下修改nginx的配置,执行以下命令重新加载配置

cd /usr/local/nginx/sbin
/nginx–s reload

如果想要停止nginx,则执行

killall nginx

并杀死该进程即可

异常处理
在做Nginx高压力测试时,偶尔某台WEB的logs抛出Too Many Open Files,一般从以下3方面调优:

第一:nginx.conf参数规划与设置

worker_rlimit_nofile :限制单个工作进程打开的最大文件数: 首先查看这个值设置,推荐设置:越大越好

第二:系统级别的检查与设置

就是 /etc/security/limits.conf的配置与修改,请参考Linux系统资源限制汇总

第三:内核级别的检查与设置:

fs.file-max值的大小设置: 注意:file-max的默认值大概是系统内存的10%(系统内存以kb计算),别设置的比系统默认的还小.

在合理规划以上3个层次的设置后,必须做验证:

1.验证nginx程序的限制

ps -ef |grep nginx

将得出的PID XXX带入下面

cat /proc/XXX/limits

查看Max open files 那一行

2.验证系统级别的限制

ulimit -n

3.验证内核级别的限制

cat /proc/sys/fs/file-max

Nginx负载均衡介绍
nginx的 upstream目前支持 4 种方式的分配

1)、轮询(默认) 每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。

2)、weight

指定轮询几率,weight和访问比率成正比,用于后端服务器性能不均的情况。

2)、ip_hash

每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器,可以解决session的问题。

3)、fair(第三方)

按后端服务器的响应时间来分配请求,响应时间短的优先分配。

4)、url_hash(第三方)

nginx负载均衡设置

在http节点里添加:

定义负载均衡设备的Ip及设备状态

upstream myServer { 
    server 127.0.0.1:9090 down; 
    server 127.0.0.1:8080 weight=2; 
    server 127.0.0.1:6060; 
    server 127.0.0.1:7070 backup; 
}

在需要使用负载的Server节点下添加

proxy_passhttp://myServer;
upstream 每个设备的状态:

down 表示单前的server暂时不参与负载

weight 默认为1.weight越大,负载的权重就越大。

max_fails:允许请求失败的次数默认为1.当超过最大次数时,返回proxy_next_upstream模块定义的错误

fail_timeout:max_fails次失败后,暂停的时间。

backup:其它所有的非backup机器down或者忙的时候,请求backup机器。所以这台机器压力会最轻。

配置案例如下:

设定http服务器,利用它的反向代理功能提供负载均衡支持

http {
#设定mime类型,类型由mime.type文件定义
include /etc/nginx/mime.types;
default_type application/octet-stream;
#设定日志格式
access_log /var/log/nginx/access.log;
#省略上文有的一些配置节点
#设定负载均衡的服务器列表
upstream mysvr {
#weigth参数表示权值,权值越高被分配到的几率越大
server 192.168.8.1x:3128 weight=5;#本机上的Squid开启3128端口
server 192.168.8.2x:80 weight=1;
server 192.168.8.3x:80 weight=6;
}
upstream mysvr2 {
#weigth参数表示权值,权值越高被分配到的几率越大
server 192.168.8.x:80 weight=1;
server 192.168.8.x:80 weight=6;
}
#第一个虚拟服务器
server {
#侦听192.168.8.x的80端口
listen 80;
server_name 192.168.8.x;
#对aspx后缀的进行负载均衡请求
location ~ .*\.aspx$ {
root /root; #定义服务器的默认网站根目录位置
index index.php index.html index.htm; #定义首页索引文件的名称
proxy_pass http://mysvr ;#请求转向mysvr定义的服务器列表
#以下是一些反向代理的配置可删除.
proxy_redirect off;
#后端的Web服务器可以通过X-Forwarded-For获取用户真实IP

proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
client_max_body_size 10m; #允许客户端请求的最大单文件字节数
client_body_buffer_size 128k; #缓冲区代理缓冲用户端请求的最大字节数,
proxy_connect_timeout 90; #nginx跟后端服务器连接超时时间(代理连接超时)
proxy_send_timeout 90; #后端服务器数据回传时间(代理发送超时)
proxy_read_timeout 90; #连接成功后,后端服务器响应时间(代理接收超时)
proxy_buffer_size 4k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传
}
}
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,142评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,298评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,068评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,081评论 1 291
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,099评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,071评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,990评论 3 417
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,832评论 0 273
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,274评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,488评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,649评论 1 347
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,378评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,979评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,625评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,796评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,643评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,545评论 2 352

推荐阅读更多精彩内容

  • 最近感觉很多东西在运用到一定的程度之后,会发现原来是自己了解到的不够。一方面限于实际运用到的不多,一方面可能是因为...
    java成功之路阅读 448评论 0 1
  • Nginx常用命令 启动 Nginx 停止 Nginx Nginx 重载配置 上述是采用向 Nginx 发送信号的...
    Rick617阅读 2,094评论 0 8
  • 21 “疲惫是每一次梦醒后的叹息累积的重量,梦是寂寞开的花,寂寞繁盛梦所以多且频繁,而疲惫是花落之后结的恶果……”...
    楚天湘水阅读 255评论 0 1
  • 当我们认认真真做完这份作业时,我们就会理清我们所想的,我们当下所要做的。很感恩作家戴维.艾伦,给我指明了方向
    NT蓝天阅读 288评论 0 0
  • 随着产品的正常迭代,对团队中遇到的一些问题进行梳理分析,目前主要有以下问题: 文案类bug超多 功能性bug 交互...
    波_洛阅读 1,048评论 0 2