LVS 之 集群类型介绍

1  概述

LVS:Linux Virtual Server,负载调度器,集成内核,不是单一的软件,名字是IPVS, ipvsadm是管理工具,开发者是章文嵩

LVS工作原理:VS根据调度算法来挑选RS,根据请求报文的目标IP和目标协议及端口将其调度转发至某RS。

LVS实现调度,均衡负载,调度请求到后台服务器。但是LVS不能实现监控后端服务器状态。需要配合keepalive一起工作。

后台服务器回复请求的时候如果还是返回调度器的话,这样会导致调度器的负担很大。所以一般后台服务器回复请求的时候,不会原路返回。可能会将包直接发给客户端。这个跟lvs的工作模式有关。

LVS放在路由表和INPUT之间,所以在LVS上,建议关闭iptbles的策略,否则可能会干扰LVS的工作

官网:http://www.linuxvirtualserver.org/

2  LVS集群类型中的术语

VS:VirtualServer, Director, Dispatcher(调度器),实现Load Balancer,负责调度

RS:RealServer(lvs), upstream server(nginx),是backend server(haproxy),负责真正提供服务,调度器后面的服务器。

CIP:ClientIP 客户端IP

VIP: Virtual serve IP,VS外网的IP

DIP: Director IP,VS内网的IP

RIP: Real server IP

L4:四层路由器或交换机,基于四层的调度器。不能实现基于cookie的调度。

ipvsadm:用户空间的命令行工具,规则管理器,用于管理集群服务及RealServer

ipvs:工作于内核空间netfilter的INPUT钩子前的框架

.访问流程:CIP<--> VIP == DIP <--> RIP

3  LVS集群的类型

lvs集群的类型有四种:

lvs-nat:修改请求报文的目标IP,多目标IP的DNAT

lvs-dr:操纵封装新的MAC地址

lvs-tun:在原请求IP报文之外新加一个IP首部

lvs-fullnat:修改请求报文的源和目标IP

3.1  LVS-NAT模式

适用于后台服务器不多的环境,因为服务器响应的包必须原路返回,这样会给调度器造成压力。

lvs-nat:本质是多目标IP的DNAT,通过将请求报文中的目标地址和目标端口修改为某挑出的RS的RIP和PORT实现转发

lvs-nat实现有以下四点注意事项

(1)RIP和DIP推荐在同一个IP网络,且应该使用私网地址;RS的网关要指向DIP

(2)请求报文和响应报文都必须经由Director转发,Director易于成为系统瓶颈

(3)支持端口映射,可修改请求报文的目标PORT

(4)VS必须是Linux系统,RS可以是任意OS系统

VS/NAT的体系结构

NAT模式IP包调度过程

3.2  LVS-DR模式

适合于后台服务器多的环境。服务器回应包不需要原路返回,可以直接给客户端发回应信息。

LVS-DR:Direct Routing,直接路由,LVS默认模式,应用最广泛,通过为请求报文重新封装一个MAC首部进行转发,源MAC是DIP所在的接口的MAC,目标MAC是经LVS算法挑选出的RS的RIP所在接口的MAC地址;源IP/PORT,以及目标IP/PORT均保持不变。Director和各RS都配置有相同VIP。

LVS-DR实现有以下六点注意事项

(1)确保前端路由器将目标IP为VIP的请求报文发往Director(注意,RS上也有相同的VIP),然后再由Director决定发往哪一台的RS(Director上有同一VIP绑定了不同RS的MAC,如果RS网卡变更,这里VIP和MAC的绑定关系也要相应变更)

此时Director会将目标MAC改为RS-MAC,同时目的IP还是VIP

以下三个方法保证将目标IP为VIP的请求报文发往Director

1.1)在前端网关做静态绑定VIP和Director的MAC地址

1.2)在RS上使用arptables工具

arptables -A IN -d $VIP -j DROP

arptables -A OUT -s $VIP -j mangle --mangle-ip -s $RIP

1.3)在RS上修改内核参数以限制arp通告及应答级别,关闭这两个参数,推荐用这个方法配置

arp_announce

arp_ignore

(2) RS的RIP可以使用私网地址,也可以是公网地址;RIP与DIP在同一IP网络;RIP的网关不能指向DIP,以确保响应报文不会经由Director。这一点和LVS-NAT有本质的区别。

(3) RS和Director要在同一个物理网络

(4)请求报文要经由Director,但响应报文不经由Director,而由RS直接发往Client,这是所谓的不沿着原路返回,和LVS-NAT不一样。

(5)不支持端口映射(端口不能被修改)

(6) RS可使用大多数OS系统

LVS-DR体系结构

DR模式IP包调度过程

3.3  LVS-TUN模式

lvs-tun一般要求是跨不同的网络,甚至RS和LVS可以在不同的城市,该技术主要用于VS和RS是异地的环境。

.lvs-tun:转发方式:不修改请求报文的IP首部(源IP为CIP,目标IP为VIP),而在原IP报文之外再封装一个IP首部(源IP是DIP,目标IP是RIP),将报文发往挑选出的目标RS;RS直接响应给客户端(源IP是VIP,目标IP是CIP)

(1) DIP, VIP, RIP都应该是公网地址

(2) RS的网关不能,也不可能指向DIP

(3)请求报文要经由Director,但响应不能经由Director

(4)不支持端口映射

(5) RS的OS须支持隧道功能,因为RS收到报文后,要把数据包解开,这样才能识别被封装T-IP的数据报文

VS/TUN体系结构

TUN模式IP包调度过程

其中,T-IP为以下的格式

3.4  LVS-FULLNAT模式

lvs-fullnat此类型kernel默认不支持,该模式一般不用于生产,默认LVS支持前面三个模式。lvs-fullnat是一个特殊的模式,比较少公司使用,已知有淘宝公司目前有用这个模式。

.lvs-fullnat:通过同时修改请求报文的源IP地址和目标IP地址进行转发

CIP --> DIP

VIP --> RIP

(1) VIP是公网地址,RIP和DIP是私网地址,且通常不在同一IP网络;因此,RIP的网关一般不会指向DIP

(2) RS收到的请求报文源地址是DIP,因此,只需响应给DIP;但Director还要将其发往Client

(3)请求和响应报文都经由Director

(4)支持端口映射

lvs-fullnat包的简易转换图如下

4  LVS工作模式总结

.lvs-nat与lvs-fullnat:请求和响应报文都经由Director

lvs-nat:RIP的网关要指向DIP

lvs-fullnat:RIP和DIP未必在同一IP网络,但要能通信

lvs-dr与lvs-tun:请求报文要经由Director,但响应报文由RS直接发往Client

lvs-dr:通过封装新的MAC首部实现,通过MAC网络转发

lvs-tun:通过在原IP报文外封装新IP头实现转发,支持远距离通信

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容

  • Linux系统之lvs集群 集群的基本思想 由于现代化业务上线的需求, 单服务器已经不能满足业务的需要, 业务服务...
    魏镇坪阅读 3,676评论 0 14
  • (一)LVS概念 LVS( Linux Virtual Server)是一种负载均衡(LB,Laod Balanc...
    uangianlap阅读 3,577评论 0 9
  • 本文部分观点图片采用于:http://chenx1242.blog.51cto.com 随着智能机的逐渐普及,大量...
    BossHuang阅读 3,120评论 0 16
  • 集群的概念LVS介绍ipvsadm的使用实现LVS-NAT实现LVS-DRLVS高可用 一、集群的概念 (一)系统...
    哈喽别样阅读 750评论 0 2
  • 1.Cluster(集群)概念 (1)系统扩展方式: Scale UP:向上扩展,增强Scale Out:向外扩展...
    尛尛大尹阅读 1,089评论 0 4