LVS之VS/DR应用场景

场景一：拥有多个公网IP且在同一网段

这是最容易部署的一种场景，但并不是最优化的应用场景。之所以说它不是最优化的应用场景，是因为这是最消耗公网IP的一种场景，在这个后ipv4的时代，ip地址是紧缺资源，在达到系统性能最大化之后应该考虑尽量节约资源。

实验环境

VS/DR 结构图（一）

在实验环境下使用的是私网IP，映射到公网IP后同样的网络拓扑依然可行。所以下文将视图【VS/DR 结构图（一）】中的所有IP地址为公网IP。

实验环境分析

在上图【VS/DR 结构图（一）】中，用四台Linux主机组成一个LVS集群。其中一台主机（P0/4）作为Director，其他三台（P0/1、P0/2、P0/3）作为RealServer。

由图分析可看出此集群共消耗了5个公网IP，但只有三个RealServer对外部用户提供服务。其实在当前场景中：群集所消耗的公网IP = RealServer数 + 2；在提供同样服务的情况下与其他场景比较，这种场景是最消耗公网IP的。

环境配置

实验环境配置分为两部分，第一部是对负载调度器主机也就是Director主机的配置，第二部分是对各个真实服务器节点的配置。稍候分小节介绍。现在对实验环境的主机和系统进行说明。

路由器和交换机各一台都是使用的是DynamipsGUI（小凡）模拟的思科3640。

P0/0是使用VMWare虚拟的一台win10系统，ip地址为192.168.3.101。用于请求LVS中的http服务器，来验证LVS配置完成且工作正常。

P0/1、P0/2、P0/3、P0/4都是使用VMWare虚拟出来的CentOS6.9系统。其中P0/4作为Director，其他三台作为 RealServer。IP地址与图片【VS/DR 结构图（一）】中描述的完全一至。

有关如何将VMWare虚拟出来的机器与DynamipsGUI模拟出来的跟帖相连的问题，我会在另一篇文章中详细说明。等写完后会把链接更新到这里。在后面的场景中不再赘述。

对Director主机的配置

首先是要安装ipvsadm软件包：

yum install -y ipvsadm

然后是对ipvsadm进行配置：

-A -t 192.168.11.20:80 -s rr
-a -t 192.168.11.20:80 -r 192.168.11.22:80 -g -w 1
-a -t 192.168.11.20:80 -r 192.168.11.22:80 -g -w 1
-a -t 192.168.11.20:80 -r 192.168.11.23:80 -g -w 1

从图片【VS/DR 结构图（一）】中可以看到在Director中VIP是配置在lo:0上面的。

ifconfig lo:0 192.168.11.20 netmask 255.255.255.255 up

你也可以把Director中的VIP配置在一个真实网卡，前提条件是你得有这么一个网卡，并且通过这个网卡可以接收来自互联网的访问。

 ifconfig eth1 192.168.11.20 netmask 255.255.255.255 up

至此Director的配置工作结束。

需要特别说明的是：在VS/DR模块下Director是不需要开启ip_forword(路由转发)功能的。在此后的各个场景中不再赘述。

对RealServer节点的配置

所有RealServer节点，除了RIP不同之外，其他配置都是一样的。

首先需要把VIP配置在RealServer节点的lo:0网卡上：

ifconfig lo:0 192.168.11.20 netmask 255.255.255.255 up

因为所有RealServer与Director是在同一个网段中（同一局域网中），所以需要对所有RealServer进行ARP抑制；避免因RealServer主机应答对VIP的ARP询问，而造成局域网内ARP解析混乱。如果不对RealServer进行ARP抑制，那么用户对VIP的请求是由哪台服务器应答的将不可预知。

 echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
 echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

有关arp_ignore 和 arp_announce参数更详细的介绍请参阅Linux 内核参数 arp_ignore & arp_announce 详解。

至此RealServer的配置也完成了。

编制自动化脚本

为了启动和关闭方便，我们可以编制两个使用service指令进行服务管理的脚本，还可以把他们注册到系统服务中，并设置开机启动。

注：编制自动化脚本的示例只在此场景中说明一次，后面场景的自动化脚本读者可以根据当前场景的两个脚本进行适当的改造后得到。

Director上的启动脚本 lvs_dr-d

#!/bin/sh
# Startup script handle the initialisation of LVS
# chkconfig: - 28 72
# description: Initialise the Linux Virtual Server for DR
#
LOCK=/var/lock/lvs-dr.lock
VIP=192.168.11.20
RIP1=192.168.11.21
RIP2=192.168.11.22
RIP3=192.168.11.23
. /etc/rc.d/init.d/functions

start()    {
     PID=`ipvsadm -Ln | grep ${VIP} | wc -l`
     if    [ $PID -gt 0 ];

     then
           echo "The LVS-DR Director Server is already running !"
     else
           /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
           #Clear IPVS Table
           /sbin/ipvsadm -C
           #Set Lvs
           /sbin/ipvsadm -At $VIP:80 -s rr
           /sbin/ipvsadm -at $VIP:80 -r $RIP1:80 -g  -w 1
           /sbin/ipvsadm -at $VIP:80 -r $RIP2:80 -g  -w 1
           /sbin/ipvsadm -at $VIP:80 -r $RIP3:80 -g  -w 1
           /bin/touch $LOCK
           #Run Lvs
           echo "starting LVS-DR Director Server is ok !"       
     fi
}

stop()    {
           #stop  Lvs server
           /sbin/ipvsadm -C
           /sbin/ifconfig lo:0 down >/dev/null
           rm -rf $LOCK
           echo "stopping LVS-DR Director server is ok !"
}

status()  {
     if [ -e $LOCK ];
     then
         echo "The LVS-DR Director Server is already running !"
     else
         echo "The LVS-DR Director Server is not running !"
     fi
}

case "$1" in
  start)
        start
        ;;
  stop)
        stop
        ;;
  restart)
        stop
        sleep 1
        start
        ;;
  status)
        status
        ;;
  *)
        echo "Usage: $1 {start|stop|restart|status}"
        exit 1
esac
exit 0

把上面的脚本放到/etc/init.d/目录下。并授予其可执行权限：

chmod o+x /etc/init.d/lvs_dr-d

然后使用如下指令设置为开机启动。

chkconfig --level 35 lvs_dr-d on

RealServer上的启动脚本 lvs_dr-r

#!/bin/sh
#
# Startup script handle the initialisation of LVS
# chkconfig: - 28 72
# description: Initialise the Linux Virtual Server for DR-RealServer
#
LOCK=/var/lock/ipvsadm.lock
VIP=192.168.11.20
. /etc/rc.d/init.d/functions
start() {
     PID=`ifconfig | grep lo:0 | wc -l`
     if [ $PID -ne 0 ];
     then
         echo "The LVS-DR-RealServer is already running !"
     else
         # 配置lo:0网卡
         /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP up
         # 配置lo:0网卡的arp策略
         echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
         echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce
         /bin/touch $LOCK
         echo "starting LVS-DR-RealServer is ok !"
     fi
}

stop() {
         # 关闭lo:0网卡
         /sbin/ifconfig lo:0 down
         # 配置lo:0网卡的arp策略
         echo "0" > /proc/sys/net/ipv4/conf/all/arp_ignore
         echo "0" > /proc/sys/net/ipv4/conf/all/arp_announce
         rm -rf $LOCK
         echo "stopping LVS-DR-RealServer is ok !"
}

status() {
     if [ -e $LOCK ];
     then
        echo "The LVS-DR-RealServer is already running !"
     else
        echo "The LVS-DR-RealServer is not running !"
     fi
}

case "$1" in
  start)
        start
        ;;
  stop)
        stop
        ;;
  restart)
        stop
        start
        ;;
  status)
        status
        ;;
  *)
        echo "Usage: $1 {start|stop|restart|status}"
        exit 1
esac
exit 0

把上面的脚本放到/etc/init.d/目录下。并授予其可执行权限：

chmod o+x /etc/init.d/lvs_dr-r

然后使用如下指令设置为开机启动。

chkconfig --level 35 lvs_dr-r on

场景二：只有一个公网IP

这是最节约公网IP的一种场景，无论你有多少个RealServer节点都只需要一个公网IP。但你必须要有一个可自主配置的路由器才行。

实验环境

VS/DR 结构图（二）

如上图【VS/DR 结构图（二）】中，虽然使用的都是私网的IP地址，但我们可以认为192.168.x.x为公网IP（映射到公网后该网络拓扑依然可行）。而10.0.0.x为私网IP。从这个图中你应该能理解为什么说这种场景需要有一个可自主配置的路由器了。因为你需要在路由器E0/1口上配置私网IP。

关于实验环境的分析，大家可以参考场景一自行理解，在此就不赘述了。

对Director主机的配置

首先是要安装ipvsadm软件包：

yum install -y ipvsadm

然后是对ipvsadm进行配置：

-A -t 192.168.11.20:80 -s rr
-a -t 192.168.11.20:80 -r 10.0.0.21:80 -g -w 1
-a -t 192.168.11.20:80 -r 10.0.0.22:80 -g -w 1
-a -t 192.168.11.20:80 -r 10.0.0.23:80 -g -w 1

从图片【VS/DR 结构图（二）】中可以看到在Director中VIP是配置在eth1上面的。

ifconfig eth1 192.168.11.20 netmask 255.255.255.0 up
## OR
ifconfig eth1 192.168.11.20 netmask 255.255.255.255 up

如果你的网卡资源不够，你也可以把Director中的VIP配置在环回网卡lo上或eth0:0网卡上。

 ifconfig lo:0 192.168.11.20 netmask 255.255.255.0 up
 ifconfig eth0:0 192.168.11.20 netmask 255.255.255.0 up
 ## OR
 ifconfig lo:0 192.168.11.20 netmask 255.255.255.255 up
 ifconfig eth0:0 192.168.11.20 netmask 255.255.255.255 up

不过这种情况下你的网络拓扑也需要做相应的调整：

VS/DR 结构图（二）- 节约网卡的调整方案

细心的朋友可能发现了，这里在Director上对VIP的配置子网掩码有两种。其实在当前场景下，子网掩码的选择只要保证VIP与DIP、RIP不在同一网段就行了。（其实是因为我制作拓扑图时笔误了，把Director中VIP的子网掩码写成了24位，于是就随便扩展了一下这个小知识点）

至此Director的配置工作结束。

对RealServer节点的配置

所有RealServer节点，除了RIP不同之外，其他配置都是一样的。

首先需要把VIP配置在RealServer节点的lo:0网卡上：

ifconfig lo:0 192.168.11.20 netmask 255.255.255.255 up

因为所有RealServer是在同一个网段中（同一局域网中），所以需要对所有RealServer进行ARP抑制；避免因RealServer主机应答对VIP的ARP询问，而造成局域网内ARP解析混乱。

 echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignore
 echo "2" > /proc/sys/net/ipv4/conf/all/arp_announce

至此RealServer的配置也完成了。

小结

当前场景有两种网络拓扑可供选择，但谁优谁劣我也不好评断，大家根据自己的实际情况选择吧。至于当前场景的自动化脚本，大家可以根据前面场景中的自动化脚本修改得到。

场景三：拥有多个不在同一网段的公网IP

当你拥有多个不在同一网段的公网IP，又想把它们统统利用起来时，这个场景就适用了。当你多次在多个网络运营商处购买IP地址和带宽时，通过会得到处于多个网段的IP，并且这些IP分别拥有一定的网络出口带宽。为了充分利用现有IP和带宽资源，你可以参考一下这个实验场景。

这个场景实验中的的配置方式和前面的两个场景没什么两样，不再赘述。下面把实验环境的网络拓扑分享一下，并对需要注意的细节做简要说明。

实验环境

VS/DR 结构图（三）

需要注意的细节

在这个实验环境中，对的RealServer来说，Director分发过来的数据包，入口网卡是各个主机的eth1网卡，而响应数据包的出口网卡是各个主机的eth0网卡。所以就需要在各个RealServer主机上配置反向路由校验策略。

echo "2" > /proc/sys/net/ipv4/conf/all/rp_filter
## OR 
echo "0" > /proc/sys/net/ipv4/conf/all/rp_filter
echo "0" > /proc/sys/net/ipv4/conf/eth1/rp_filter
echo "0" > /proc/sys/net/ipv4/conf/eth0/rp_filter
echo "0" > /proc/sys/net/ipv4/conf/lo/rp_filter

有关rp_filter参数更详细的介绍请参阅Linux内核参数 rp_filter。

场景四：使用多个DIP进行部署

这个场景我感觉没什么实用价值，但部署这个场景可以更深入的理解LVS中VS/DR模式的工作原理。当然你也可以拿去炫技装B。

这个场景实验中的的配置方式和前面的三个场景没什么两样，不再赘述。网络拓扑图大家自行脑补吧。

总结

通过以上面四个场景的分析与实际部署可以发现，其实在VS/DR的所有场景中VIP和DIP、RIP是不在同一网段的，而DIP和RIP是在同一网段的，通过他们的子网掩码可以看出。

最后编辑于：2017.12.05 17:00:50

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 213,711评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,079评论 3赞 387
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 159,194评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,089评论 1赞 286
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,197评论 6赞 385
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,306评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,338评论 3赞 412
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,119评论 0赞 269
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,541评论 1赞 306
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,846评论 2赞 328
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,014评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,694评论 4赞 337
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,322评论 3赞 318
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,026评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,257评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,863评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,895评论 2赞 351

LVS之VS/DR应用场景

场景一：拥有多个公网IP且在同一网段

实验环境

实验环境分析

环境配置

对Director主机的配置

对RealServer节点的配置

编制自动化脚本

Director上的启动脚本 lvs_dr-d

RealServer上的启动脚本 lvs_dr-r

场景二：只有一个公网IP

实验环境

对Director主机的配置

对RealServer节点的配置

小结

场景三：拥有多个不在同一网段的公网IP

实验环境

需要注意的细节

场景四：使用多个DIP进行部署

总结

推荐阅读更多精彩内容