LVS+keepalived实现高可用负载均衡

单独使用LVS如果发生突发情况，会直接导致用户无法访问后端所有的应用程序，避免这种问题可以使用HA故障切换，也就是有一台备用的LVS，主LVS宕机，LVS VIP自动切换到从，可以基于LVS+keepalived实现负载均衡和高可用的功能。

主要原理：利用keepalived的健康检查机制，检测到有问题的机器，就会把它剔除LVS列表，并发邮件到邮箱。当恢复后，keepalived会自动再次将该机器重新加入到LVS集群列表中，全程自动完成。需要人工做的就是修复故障的web机器(lvs虽然可分发请求到后端server，但lvs本身是一台机器属于单点故障，这时加入高可用技术轮询lvs机器，有效解决单点故障)

注意：使用lvs+keepalived 就不用在通过ipvsadm -A去添加均衡的realserver了，直接所有的配置都在keepalived.conf里设置即可。

安装LVS管理工具

yum install ipvsadm -y

安装keepalived

yum install -y  keepalieved*

LVS+keepalived--主上的配置(该配置文件默认配置的keep的单主模式，可以双主互备，方法跟纯keepalived的一样)
/etc/keepalived.conf

! Configuration File for keepalived
global_defs {
    notification_email {
        tianye@lzad.cc
    }
    notification_email_from tianye@lzad
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id LVS_DEVEL
}
# VIP1
vrrp_instance VI_1 {
    state MASTER
    interface ens33
    virtual_router_id 51
    priority 100
    advert_int 5
    nopreempt
    authentication {
        auth_type PASS
        auth_pass 1111
    }
    virtual_ipaddress {
        192.168.1.188
    }
}
virtual_server 192.168.1.188 80 {
    delay_loop 6 #健康检查时间
    lb_algo rr      #lvs的轮询算法
    lb_kind DR   #lvs的转发模式
    persistence_timeout 60   
    protocol TCP  
#真实serever1，检查real server 的80端口，每3秒检测一次，超时10秒就会从列表中T出去
    real_server 192.168.1.102 80 {
        weight 100
        TCP_CHECK {
            connect_timeout 10
            delay_before_retry 3
            connect_port 80
        }
    }
#真实server2
    real_server 192.168.1.101 80 {
        weight 100
        TCP_CHECK {
            connect_timeout 10
            delay_before_retry 3
            connect_port 80
        }
    }

}

我们重启下keepalived服务。
这是2台real server已经被keepalived添加到列表中

image.png

尝试断开101的80端口
systemctl stop nginx
（可以看日志tail -fn 100 /var/log/messages）

image.png

发现101已经被剔除

image.png

测试VIP：192.168.1.188页面

image.png

恢复101上的80端口访问，发现又被自动加回到了集群列表

image.png

LVS DR客户端（real server）配置VIP

客户通过浏览器访问 director 的 VIP， director 接收请求，将通过相应的转发方式及算法将请求转发给相应的 realserver。在转发的过程中，会修改请求包的目的 mac 地址，目的 IP 地址不变。

Realserver 接收请求，并直接响应客户端。Director 与 realserver 位于同一个物理网络中，当 director 直接将请求转发给realserver 时，如果 realserver 检测到该请求包目的 IP 是 VIP 而并非自己，便会丢弃，而不会响应。

为了解决这个问题，需在所有 Realserver 上都配上 VIP，保证数据包不丢弃，同时由于后端 realserver 都配置 VIP 会导致 IP 冲突，所以需将 VIP 配置在 lo 网卡上，这样限制了 VIP 不会在物理交换机上产生 MAC 地址表，从而避免 IP 冲突。 LVS DR 客户端启动 Realserver.sh 脚本内容如下(也可以手动添加cp ifcfg-lo ifcfg-lo:1 ，编辑文件)

image.png

#!/bin/sh
#LVS Client Server
VIP=192.168.1.188
case $1 in
start)
ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP
/sbin/route add -host $VIP dev lo:0
echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
sysctl -p >/dev/null 2>&1
echo "RealServer Start OK"
exit 0
;;
stop)
ifconfig lo:0 down
route del $VIP >/dev/null 2>&1
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
echo "RealServer Stoped OK"
exit 1
;;
*)
echo "Usage: $0 {start|stop}"
;;
esac

最后编辑于：2020.11.19 14:41:18