nginx+keepalived 双热机主从备份

本次实验目标是:

搭建两台Web服务器,然后通过Keepalived来实现热备,其中任务一台出现故障,对外仍然可以正常提供服务!

什么是双机热备?

通常说的双机热备是指两台机器都在运行,但并不是两台机器都同时在提供服务。

当提供服务的一台出现故障的时候,另外一台会马上自动接管并且提供服务,而且切换的时间非常短。

keepalived的工作原理

keepalived的工作原理是VRRP(Virtual Router Redundancy Protocol)虚拟路由冗余协议。

在VRRP中有两组重要的概念:VRRP路由器和虚拟路由器,主控路由器和备份路由器。

VRRP路由器是指运行VRRP的路由器,是物理实体,虚拟路由器是指VRRP协议创建的,是逻辑概念。

一组VRRP路由器协同工作,共同构成一台虚拟路由器。

Vrrp中存在着一种选举机制,用以选出提供服务的路由即主控路由,其他的则成了备份路由。

当主控路由失效后,备份路由中会重新选举出一个主控路由,来继续工作,来保障不间断服务。

实验环境

下面来以keepalived结合httpd来实现一个web服务器的双机热备。

(一般是用 keepalived + Nginx或者haproxy,这里仅是实验用了httpd ),

我们在本文中的测试环境如下

两台Web服务器(httpd),和一个虚拟服务器(Keepalived):

master(主Web服务器):CentOS7+httpd2.4.6 192.168.1.231

backup(备用Web服务器): CentOS7+httpd2.4.6 192.168.1.232

vip(Keepalived虚拟的): 192.168.1.230

测试环境的网络topology图如下:

系统环境:

  • centos 7 1.1.1.1
  • centos 7 1.1.1.2
  • VIP: 1.1.1.3

安装keepalived 和 必要环境组件及应用

安装方式一:
用yum包管理来安装,方便快捷
yum -y install gcc openssl-devel popt-devel libnl* kernel-devel ipvsadm libnfnetlink libnfnetlink-devel net-snmp-agent-libs
yum -y install keepalived
安装方式二:
wget 下载源码包方式安装

安装必要环境组件及应用

yum -y install gcc openssl-devel popt-devel libnl* kernel-devel ipvsadm libnfnetlink libnfnetlink-devel net-snmp-agent-libs
下载keepalived

wget http://www.keepalived.org/software/keepalived-1.3.5.tar.gz
建立内核软连接

ln -s /usr/src/kernels/$(uname -r)/ /usr/src/linux
解压并进行编译安装

tar xvf keepalived-1.3.5.tar.gz
cd keepalived-1.3.5
./configure
make && make install
为方便以后操作给应用部分文件创建软连接

ln -s /usr/local/etc/keepalived/ /etc/
ln -s /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/sbin/keepalived /usr/sbin/
==#也可以用yum直接安装==

实验具体配置步骤:


 # 查看Vip和网卡

ip a

# 启动keepalived

systemctl start keepalived.service

# 查看进程keepalived 是否启动成功

ps -aux |grep keepalived 

# 开启服务器ip转发功能 重点

echo 1 > /proc/sys/net/ipv4/ip_forward 

# 查看网卡上的VIP配置是否生效

ifconfig enp2s0:vip

# 查看防火墙

setenforce

# 检测keepalived 状态

tail -f /var/log/messages

# 同步服务器时间

ntpdate -d ntp.sjtu.edu.cn

# 关闭服务器防火墙 centos7 版本

systemctl stop firewalld.service

# 关闭服务器自带防火墙

vi  /etc/sysconfig/selinux

# 关闭iptables 防火墙

iptables -F


备机器配置:

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVELB
   vrrp_skip_check_adv_addr
   #vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state BACKUP
    interface enp3s0
    virtual_router_id 51
    priority 99
    nopreempt
    advert_int 1
    mcast_src_ip 备服务器ip
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
       虚拟ip


    }
}

virtual_server 虚拟ip 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 备服务器ip 80 {
        weight 1
        TCP_CHECK {                 #realserver的状态检测设置部分,单位是秒
            connect_timeout 10      #表示3秒无响应超时
            nb_get_retry 3          #表示重试次数
            delay_before_retry 3    #表示重试间隔
            connect_port 80
        }
        
    }
}

主机器配置:

! Configuration File for keepalived

global_defs {
   notification_email {
     acassen@firewall.loc
     failover@firewall.loc
     sysadmin@firewall.loc
   }
   notification_email_from Alexandre.Cassen@firewall.loc
   smtp_server 192.168.200.1
   smtp_connect_timeout 30
   router_id LVS_DEVELA
   vrrp_skip_check_adv_addr
   #vrrp_strict
   vrrp_garp_interval 0
   vrrp_gna_interval 0
}

vrrp_instance VI_1 {
    state MASTER
    interface enp2s0
    virtual_router_id 51
    nopreempt
    priority 100
    advert_int 1
    mcast_src_ip 主服务器ip
    
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
         虚拟ip
    }
}

virtual_server 虚拟ip 80 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    persistence_timeout 50
    protocol TCP

    real_server 主服务器ip 80 {
        weight 1
        TCP_CHECK {                 #realserver的状态检测设置部分,单位是秒
            connect_timeout 10      #表示3秒无响应超时
            nb_get_retry 3          #表示重试次数
            delay_before_retry 3    #表示重试间隔
            connect_port 80
        }
       
    }
}


下面附一份配置说明:

global_defs {
router_id LVS_DEVEL_A #这个id自已改下,不重复即可
}
vrrp_instance VI_1 {
state MASTER #主服务器就写MASTER,备用的就写BACKUP
interface ens33 #网卡名称
virtual_router_id 51 #主、备必须一样
priority 100 #主、备机取不同的优先级,主机值较大,备份机值较小,值越大优先级越高
advert_int 1 #VRRP Multicast广播周期秒数
authentication {
auth_type PASS #VRRP认证方式,主备必须一致 
auth_pass 1111 #密码
}
virtual_ipaddress {
192.168.1.230/24 #VRRP HA VIP虚拟地址
}
}

所有配置完成之后,把主备服务器的keepalived服务和nginx web 服务器 都启动,
查看进程,看keepalived是否启动成功:


image.png

情况:
主备服务器都启动的情况下,VIP 绑定在主服务器上,
主服务器宕机的情况下,VIP 绑定在备服务器上,
备服务器宕机的情况下,VIP绑定在主服务器上。

主备都宕机,那就等着背锅吧。祝你好运!!!

image.png
image.png

总结

以上就是我在项目实践上的关于nginx + keepalived 的实践,无感切换服务。VIP这个是从哪里来的,暂时不得而知。刚开始遇到一个情况是

配置完keepalived之后出现

ping VIP不通 解决办法,

vim /etc/keepalived/keepalived.conf


把这个注释就可以了

vrrp_strict

当任意服务器出现宕机的情况下是VIP是可以漂移的,内网都能访问到两台机器上的服务,但是外网只能访问到主服务器上的服务,无法访问

到备服务器上的服务。出现

这个问题之后,我一度怀疑是服务器时间不同步,服务器防火墙,服务器配置的问题,但是具体问题出在哪里还有有点模糊,最后发现问题在服务器的ip转发功能没有

开启的问题上,被这个问题折磨了一两天。所以在此记录一下,与大家分享,让大家可以尽快的跳过这个坑,在技术上更近一步。

其他以及ipvsdam 这个调度工具没有使用。有兴趣的朋友可以去试试。欢迎交流,批评指正。有问题,请留言,谢谢!

首发于2018年3月2日 北京。

图片发自简书App
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,864评论 6 494
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,175评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,401评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,170评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,276评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,364评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,401评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,179评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,604评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,751评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,380评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2 351

推荐阅读更多精彩内容