负载均衡 - 简书

当单服务器的性能无法满足业务需求时，就需要把多台服务器组成集群系统提高整体的处理性能。不过我们要使用统一的入口方式对外提供服务，所以需要一个流量调度器通过均衡的算法，将用户大量的请求均衡地分发到后端集群不同的服务器上。这就是我们后边要说的负载均衡。
广义上的负载均衡器大概可以分为 3 类，包括：DNS 方式实现负载均衡、硬件负载均衡、软件负载均衡。

DNS实现负载均衡

DNS实现负载均衡

优点：

实现简单，成本低，无需自己开发或维护负载均衡设备；

缺点：

服务器故障切换延迟大，服务器升级不方便；

流量调度不均衡，粒度太粗；

流量分配策略比较简单，支持的算法较少；

硬件负载均衡

目前业界典型的硬件负载均衡设备有两款：F5 和 A10。这类设备性能强劲、功能强大，但价格非常昂贵。
优点：

功能强大：全面支持各层级的负载均衡，支持全面的负载均衡算法；

性能强大：性能远超常见的软件负载均衡器；

稳定性高：商用硬件负载均衡，经过了良好的严格测试，经过大规模使用，稳定性高；

安全防护：除了具备负载均衡外，还具备防火墙、防 DDoS 攻击等安全功能；

缺点：

价格昂贵，就是贵；

扩展性差，无法进行扩展和定制；

调试和维护比较麻烦，需要专业人员服务器故障切换延迟大，服务器升级不方便；

软件负载均衡

目前常见的有 Nginx、HAproxy、LVS。LVS是纯4层的负载均衡，是基于Linux内核中netfilter框架实现的负载均衡系统，运行在内核态，性能是软件负载均衡中最高的。

网络7层模型

优点：

简单：无论是部署还是维护都比较简单；

便宜：买个 Linux 服务器，装上软件即可；

灵活：4 层和 7 层负载均衡可以根据业务进行选择，也可以根据业务特点，比较方便进行扩展和定制功能；

netfilter

netfilter是集成在内核中的，用来定义存储各种规则的。iptable是修改这些规则的工具，修改后存在netfilter里面。
数据包进入Linux服务器时，先进入服务器的netfilter模块中进行判断处理。Linux将用户规则依据功能和规则所处链路位置进行分组，包含四表五链。

四表

filter表：过滤数据包，定义允许或者不允许的；

nat表：network address translation，网络地址转换功能，主要处理源与目的地址IP和端口的转换；

mangle表：用于高级路由信息包，如包头内有更改（如tos改变包的服务类型，ttl包的生存时间，mark特殊标记）；

raw表：决定数据包是否被状态跟踪机制处理；

PREROUTING：对数据包作路由选择前应用此链中的规则；

INPUT：进来的数据包应用此规则链中的规则；

FORWARD：转发数据包时应用此规则链中的规则；

OUTPUT：外出的数据包应用此规则链中的规则；

POSTROUTING：对数据包作路由选择后应用此链中的规则；

任何一个数据包，只要经过本机，必将经过这五个链中的其中一个链，来作控制。

netfilter基本原理

LVS的三种工作模式对比

模式	优点	缺点
DR模式	响应数据不经过lvs，性能高；对数据包修改小，信息保存完整（携带客户端源 IP）	lvs与rs必须在同一个物理网络（不支持跨机房） rs上必须配置lo和其它内核参数不支持端口映射
NAT模式	能够支持windows操作系统；支持端口映射。如果rs端口与 vport不一致，lvs除了修改目的IP，也会修改 dport 以支持端口映射。	后端RS需要配置网关；双向流量对lvs负载压力比较大
Tunnel模式	单臂模式，对lvs负载压力小；对数据包修改较小，信息保存完整；可跨机房（不过在国内实现有难度）	需要在后端服务器安装配置ipip模块；需要在后端服务器tunl0配置vip；隧道头部的加入可能导致分片，影响服务器性能；隧道头部IP地址固定，后端服务器网卡hash可能不均；不支持端口映射

缩写

CIP：Client IP，表示的是客户端 IP 地址。
VIP：Virtual IP，表示负载均衡对外提供访问的 IP 地址，一般负载均衡 IP 都会通过 Virtual IP 实现高可用。
RIP：RealServer IP，表示负载均衡后端的真实服务器 IP 地址。
DIP：Director IP，表示负载均衡与后端服务器通信的 IP 地址。
CMAC：客户端的 MAC 地址，准确的应该是 LVS 连接的路由器的 MAC 地址。
VMAC：负载均衡 LVS 的 VIP 对应的 MAC 地址。
DMAC：负载均衡 LVS 的 DIP 对应的 MAC 地址。
RMAC：后端真实服务器的 RIP 地址对应的 MAC 地址。

当客户端请求 www.sina.com.cn 主页，经过 DNS 解析到 IP 后，向新浪服务器发送请求数据，数据包经过层层网络到达新浪负载均衡 LVS 服务器，到达 LVS 网卡时，数据包如下：

源IP地址：即客户端IP地址（CIP，Client IP）；

源MAC地址：客户端MAC地址（CMAC，Client MAC），其实是 LVS 连接的路由器的MAC地址（ADSL的路由器，为了容易理解记为 CMAC）

目的IP：即新浪对外服务器的IP地址（VIP，Virtual IP）；

目标MAC地址：即新浪对外的服务器的MAC地址（VMAC，Virtual MAC）；

数据包到达网卡后，经过链路层到达 PREROUTING 位置（刚进入网络层），查找路由发现目的 IP 是 LVS 的 VIP，就会递送到 INPUT 链上，此时数据包 MAC、IP、Port 都没有修改。

DR模式原理

DR模式

数据包到达 INPUT 链，INPUT 是 LVS 主要工作的位置。此时 LVS 会根据目的 IP 和 Port 来确认是否是 LVS 定义的服务，如果是定义过的 VIP 服务，就会根据配置的 Service 信息，从 RealServer 中选择一个作为后端服务器 RS1，然后以 RS1 作为目标查找 Out 方向的路由，确定下一跳信息以及数据包要通过哪个网卡发出。最后将数据包通过 INET_HOOK 到 OUTPUT 链上（Out 方向刚从四层进入网络层）。

数据包通过 POSTROUTING 链后，从网络层转到链路层，将目的 MAC 地址修改为 RealServer 服务器 MAC 地址，记为 RMAC；而源 MAC 地址修改为 LVS 与 RS 同网段的 selfIP 对应的 MAC 地址，记为 DMAC。此时，数据包通过交换机转发给了 RealServer 服务器（注：为了简单图中没有画交换机）。

请求数据包到达 RealServer 服务器后，链路层检查目的 MAC 是自己网卡地址。到了网络层，查找路由，目的 IP 是 VIP（lo 上配置了 VIP），判定是本地主机的数据包，经过协议栈后拷贝至应用程序（比如这里是 nginx 服务器），nginx 响应请求后，产生响应数据包。以目的 VIP 为 dst 查找 Out 路由，确定吓一跳信息和发送网卡设备信息，发送数据包。此时数据包源、目的 IP 分别是 VIP、CIP，而源 MAC 地址是 RS1 的 RMAC，目的 MAC 是下一跳（路由器）的 MAC 地址，记为 CMAC（为了容易理解，记为 CMAC）。然后数据包通过 RS 相连的路由器转发给真正客户端。

NAT模式原理

NAT模式

到达 lvs 后，通过目的 IP 和目的 port 查找是否为 IPVS 服务。若是 IPVS 服务，则会选择一个 RS 作为后端服务器，将数据包目的 IP 修改为 RIP，并以 RIP 为目的 IP 查找路由信息，确定下一跳和出口信息，将数据包转发至 output 上。

修改后的数据包经过 postrouting 和链路层处理后，到达 RS 服务器，此时的数据包源 IP 是 CIP，目的 IP 是 RIP。

到达 RS 服务器的数据包经过链路层和网络层检查后，被送往用户空间 nginx 程序。nginx 程序处理完毕，发送响应数据包，由于 RS 上默认网关配置为 lvs 设备 IP，所以 nginx 服务器会将数据包转发至下一跳，也就是 lvs 服务器。此时数据包源 IP 是 RIP，目的 IP 是 CIP。

lvs 服务器收到 RS 响应数据包后，根据路由查找，发现目的 IP 不是本机 IP，且 lvs 服务器开启了转发模式，所以将数据包转发给 forward 链，此时数据包未作修改。

lvs 收到响应数据包后，根据目的 IP 和目的 port 查找服务和连接表，将源 IP 改为 VIP，通过路由查找，确定下一跳和出口信息，将数据包发送至网关，经过复杂的网络到达用户客户端，最终完成了一次请求和响应的交互。

Tunnel模式原理

Tunnel模式

到达 lvs 后，通过目的 ip 和目的 port 查找是否为 IPVS 服务。若是 IPVS 服务，则会选择一个 rs 作为后端服务器，以 rip 为目的 ip 查找路由信息，确定下一跳、dev 等信息，然后 IP 头部前边额外增加了一个 IP 头（以 dip 为源，rip 为目的 ip），将数据包转发至 output 上。

数据包根据路由信息经最终经过 lvs 网卡，发送至路由器网关，通过网络到达后端服务器。

后端服务器收到数据包后，ipip 模块将 Tunnel 头部卸载，正常看到的源 ip 是 cip，目的 ip 是 vip，由于在 tunl0 上配置 vip，路由查找后判定为本机 ip，送往应用程序。应用程序 nginx 正常响应数据后以 vip 为源 ip，cip 为目的 ip 数据包发送出网卡，最终到达客户端。

iptables使用示例

iptables -L            // 列出filter表下的规则
iptables -L -t nat     // 列出nat表下的规则

// 允许本机开放从TCP端口20-1024提供的应用服务
iptables -A INPUT -p tcp -m state --state NEW --dport 20:1024 -j ACCEPT

// 屏蔽来自外部的ping（禁止外部机器ping本机）
iptables -A INPUT -p icmp --icmp-type echo-request -j DROP
iptables -A OUTPUT -p icmp --icmp-type echo-reply -j DROP

// 允许本机对外开放TCP端口20、21、25、110以及被动模式FTP端口1250-1280
iptables -A INPUT -p tcp -m multiport --dport 20,21,25,110,1250:1280 -j ACCEPT

// 防止DDos攻击
iptables -A INPUT -p tcp --dport 80 -m limit --limit 25/minute --limit-burst 100 -j ACCEPT

实现内网多个用户用同一个公网地址上网场景，可使用SNAT源地址转换。
目标地址不变，重新改写源地址，并在本机建立NAT表项，当数据返回时，根据NAT表将目的地址数据改写为数据发送出去时候的源地址，并发送给主机。

实现用一个公网地址（防火墙）做不同内网服务的场景，可用NAT的方式可以隐藏后端服务器的真实地址，更加的安全，使用DNAT目标地址转换。
源地址不变，重新修改目标地址，在本机建立NAT表项，当数据返回时，根据NAT表将源地址修改为数据发送过来时的目标地址，并发给远程主机。

// 把所有10.8.0.0网段的数据包SNAT成192.168.5.3的ip，然后发出去
iptables -t nat -A POSTROUTING -s 10.8.0.0/24 -o eth0 -j SNAT --to-source 192.168.5.3


// 启用DNAT转发，把本机192.168.1.17来自422端口的流量转发到22端口（来自422端口的SSH连接请求与来自22端口的请求等效）
iptables -t nat -A PREROUTING -p tcp -d 192.168.1.17 --dport 422 -j DNAT --to-destination 192.168.1.17:22
// 允许连接到422端口的请求
iptables -t filter -A INPUT -p tcp -m state --state NEW --dport 422 -j ACCEPT
// 保存规则
service iptables save
service iptables restart