Nginx、keepalived、varnish和tomcat搭建动静分离的高可用服务

本文包括三个部分:

  • 实验环境
  • 配置
  • 验证
  • 小结

一、实验环境:

image.png

CentOS7系统

  • 反向代理服务器Nginx1:172.16.80.100

  • 反向代理服务器Nginx2:172.16.80.101
    Nginx1和Nginx2上通过keepalived实现高可用,使用的vip为172.16.80.200

  • 静态服务器Nginx3:172.16.80.102

  • 静态服务器Nginx4:172.16.80.103
    Nginx3和Nginx4上通过keepalived实现高可用,使用的vip为172.16.80.201

当用户访问172.16.80.200的web服务80端口时,Nginx1或者Nginx2会把请求反向代理到varnish服务器,varnish把动态请求发送到后端的tomcat服务器,而静态请求发送到Nginx3和Nginx4。

二、配置

1、主机172.16.80.100配置

keepalived服务

[root@centos7a ~]#cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email {
   root@localhost
}
   notification_email_from keadmin@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id CentOS7A.luo.com
   vrrp_mcast_group4 224.0.0.22
}

vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 15
    priority 150
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hahahaha
    }
    virtual_ipaddress {
    172.16.80.200                          <==设置虚拟IP为172.16.80.200 
    }
}

nginx服务

[root@centos7a ~]#cat /etc/nginx/nginx.conf |grep  -v  ^[[:space:]]*#|grep -v ^$
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    upstream www.server.pools{
    server 172.16.80.200:6081;       <== 反向代理到172.16.80.200的varnish
    }
    server {
        listen       80;
        server_name  www.nginx.com;
        location / {
        proxy_pass http://www.server.pools;
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

varnish服务:

[root@centos7a ~]#cat /etc/varnish/default.vcl |grep  -v  ^[[:space:]]*#|grep -v ^$
vcl 4.0;
backend nginx {
    .host = "172.16.80.201";
    .port = "80";
}
backend tomcat {
    .host = "172.16.80.201";
    .port = "8080";
}
sub vcl_recv {
        if (req.url ~ "(?i)\.html$") {                <==如果请求的内容为.html文件
                set req.backend_hint = nginx;         <==就交给nginx处理
        } else {                                      <==否则(正常来说,应该判断请求是否php、jsp等文件,这里仅作简单测试,就不判断了。)
                set req.backend_hint = tomcat;        <==就交给tomcat处理
    }
}
sub vcl_backend_response {
}
sub vcl_deliver {
}

2、主机172.16.80.101配置

keepalived服务:

[root@centos7b ~]#cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email {
   root@localhost
}
   notification_email_from keadmin@localhost
   smtp_server 127.0.0.1
   smtp_connect_timeout 30
   router_id CentOS7B.luo.com
   vrrp_mcast_group4 224.0.0.22
}


vrrp_instance VI_1 {
    state BACKUP
    interface ens33
    virtual_router_id 15
    priority 100
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass hahahaha
    }
    virtual_ipaddress {
    172.16.80.200
    }
} 

nginx服务:

[root@centos7b ~]#cat /etc/nginx/nginx.conf |grep  -v  ^[[:space:]]*#|grep -v ^$
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    upstream www.server.pools{
    server 172.16.80.200:6081;
    }
    server {
        listen       80;
        server_name  www.nginx.com;
        location / {
        proxy_pass http://www.server.pools;
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}

varnish服务:

[root@centos7b ~]#cat /etc/varnish/default.vcl |grep  -v  ^[[:space:]]*#|grep -v ^$
vcl 4.0;
backend nginx {
  .host = "172.16.80.201";
  .port = "80";
}
backend tomcat {
  .host = "172.16.80.201";
  .port = "8080";
}
sub vcl_recv {
        if (req.url ~ "(?i)\.html$") {
                set req.backend_hint = nginx;
        } else {
                set req.backend_hint = tomcat;
        }
}
sub vcl_backend_response {
}
sub vcl_deliver {
}

3、主机172.16.80.102配置

tomcat服务

安装后启动即可

keepalived服务

和172.16.80.100类似,只要把vip改成172.16.80.201即可

nginx服务

[root@centos7c ~]#cat /etc/nginx/nginx.conf |grep  -v  ^[[:space:]]*#|grep -v ^$
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    server {
        listen       80;
        server_name  www.static.com;
        location / {
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}
[root@centos7c ~]#cat /usr/share/nginx/html/index.html 
Centos7C
static

4、主机172.16.80.103配置

tomcat服务

安装后启动即可

keepalived服务:

和172.16.80.101类似,只要把vip改成172.16.80.201即可

nginx服务:

[root@centos7d ~]#cat /etc/nginx/nginx.conf |grep  -v  ^[[:space:]]*#|grep -v ^$
worker_processes  1;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;
    server {
        listen       80;
        server_name  www.static.com;
        location / {
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    }
}
[root@centos7d ~]#cat /usr/share/nginx/html/index.html
Centos7D
static

三、测试

启动所有服务
由于keepalived配置中,主机172.16.80.100配置的优先级比较高,nginx1会拿到vip172.16.80.200。

image.png

同样的主机172.16.80.102也会拿到vip172.16.80.201。

image.png

1、验证动静分离:

当用户的请求访问html资源时


image.png

当用户请求访问非html资源时:

image.png

2、验证高可用

关掉172.16.80.100主机(或者关掉keepalived服务),以此模仿nginx1宕机。


image.png

vip172.16.80.200成功漂移到172.16.80.201主机。

image.png

客户端依然能正常访问172.16.80.200。

同样的,关掉172.16.80.102上的keepalived服务


image.png

此时就由172.16.80.103提供服务了

四、小结

基本上实现了nginx反向代理、keepalived高可用、varnish动静分离这几个功能。而varnish的缓存效果和tomcat会话保持没有讲到,keepalived的双实例双主模式也没有用到,后面有时间再补充一下。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容