1 概述
LVS:Linux Virtual Server,负载调度器,集成内核,不是单一的软件,名字是IPVS, ipvsadm是管理工具,开发者是章文嵩
LVS工作原理:VS根据调度算法来挑选RS,根据请求报文的目标IP和目标协议及端口将其调度转发至某RS。
LVS实现调度,均衡负载,调度请求到后台服务器。但是LVS不能实现监控后端服务器状态。需要配合keepalive一起工作。
后台服务器回复请求的时候如果还是返回调度器的话,这样会导致调度器的负担很大。所以一般后台服务器回复请求的时候,不会原路返回。可能会将包直接发给客户端。这个跟lvs的工作模式有关。
LVS放在路由表和INPUT之间,所以在LVS上,建议关闭iptbles的策略,否则可能会干扰LVS的工作
官网:http://www.linuxvirtualserver.org/
2 LVS集群类型中的术语
VS:VirtualServer, Director, Dispatcher(调度器),实现Load Balancer,负责调度
RS:RealServer(lvs), upstream server(nginx),是backend server(haproxy),负责真正提供服务,调度器后面的服务器。
CIP:ClientIP 客户端IP
VIP: Virtual serve IP,VS外网的IP
DIP: Director IP,VS内网的IP
RIP: Real server IP
L4:四层路由器或交换机,基于四层的调度器。不能实现基于cookie的调度。
ipvsadm:用户空间的命令行工具,规则管理器,用于管理集群服务及RealServer
ipvs:工作于内核空间netfilter的INPUT钩子前的框架
.访问流程:CIP<--> VIP == DIP <--> RIP
3 LVS集群的类型
lvs集群的类型有四种:
lvs-nat:修改请求报文的目标IP,多目标IP的DNAT
lvs-dr:操纵封装新的MAC地址
lvs-tun:在原请求IP报文之外新加一个IP首部
lvs-fullnat:修改请求报文的源和目标IP
3.1 LVS-NAT模式
适用于后台服务器不多的环境,因为服务器响应的包必须原路返回,这样会给调度器造成压力。
lvs-nat:本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发
lvs-nat实现有以下四点注意事项
(1)RIP和DIP推荐在同一个IP网络,且应该使用私网地址;RS的网关要指向DIP
(2)请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈
(3)支持端口映射,可修改请求报文的目标PORT
(4)VS必须是Linux系统,RS可以是任意OS系统
VS/NAT的体系结构
NAT模式IP包调度过程
3.2 LVS-DR模式
适合于后台服务器多的环境。服务器回应包不需要原路返回,可以直接给客户端发回应信息。
LVS-DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是经LVS算法挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变。Director和各RS都配置有相同VIP。
LVS-DR实现有以下六点注意事项
(1)确保前端路由器将目标IP为VIP的请求报文发往Director(注意,RS上也有相同的VIP),然后再由Director决定发往哪一台的RS(Director上有同一VIP绑定了不同RS的MAC,如果RS网卡变更,这里VIP和MAC的绑定关系也要相应变更)
此时Director会将目标MAC改为RS-MAC,同时目的IP还是VIP
以下三个方法保证将目标IP为VIP的请求报文发往Director
1.1)在前端网关做静态绑定VIP和Director的MAC地址
1.2)在RS上使用arptables工具
arptables -A IN -d $VIP -j DROP
arptables -A OUT -s $VIP -j mangle --mangle-ip -s $RIP
1.3)在RS上修改内核参数以限制arp通告及应答级别,关闭这两个参数,推荐用这个方法配置
arp_announce
arp_ignore
(2) RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director。这一点和LVS-NAT有本质的区别。
(3) RS和Director要在同一个物理网络
(4)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client,这是所谓的不沿着原路返回,和LVS-NAT不一样。
(5)不支持端口映射(端口不能被修改)
(6) RS可使用大多数OS系统
LVS-DR体系结构
DR模式IP包调度过程
3.3 LVS-TUN模式
lvs-tun一般要求是跨不同的网络,甚至RS和LVS可以在不同的城市,该技术主要用于VS和RS是异地的环境。
.lvs-tun:转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)
(1) DIP, VIP, RIP都应该是公网地址
(2) RS的网关不能,也不可能指向DIP
(3)请求报文要经由Director,但响应不能经由Director
(4)不支持端口映射
(5) RS的OS须支持隧道功能,因为RS收到报文后,要把数据包解开,这样才能识别被封装T-IP的数据报文
VS/TUN体系结构
TUN模式IP包调度过程
其中,T-IP为以下的格式
3.4 LVS-FULLNAT模式
lvs-fullnat此类型kernel默认不支持,该模式一般不用于生产,默认LVS支持前面三个模式。lvs-fullnat是一个特殊的模式,比较少公司使用,已知有淘宝公司目前有用这个模式。
.lvs-fullnat:通过同时修改请求报文的源IP地址和目标IP地址进行转发
CIP --> DIP
VIP --> RIP
(1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP
(2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client
(3)请求和响应报文都经由Director
(4)支持端口映射
lvs-fullnat包的简易转换图如下
4 LVS工作模式总结
.lvs-nat与lvs-fullnat:请求和响应报文都经由Director
lvs-nat:RIP的网关要指向DIP
lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信
lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client
lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发
lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信