负载均衡器
可以是专用设备，也可以是在通用服务器上运行的应用程序。 分散请求到拥有相同内容或提供相同服务的服务器。 专用设备一般只有以太网接口，可以说是多层交换机的一种。 负载均衡器一般会被分配虚拟IP地址，所有来自客户端的请求都是针对虚拟IP地址完成的。负载均衡器通过负载均衡算法将来自客户端的请求转发到服务器的实际IP地址上。
负载均衡算法
private Map<String,Integer> serverMap = new HashMap<String,Integer>(){{
put("192.168.1.100",1);
put("192.168.1.101",1);
put("192.168.1.102",4);
put("192.168.1.103",1);
put("192.168.1.104",1);
put("192.168.1.105",3);
put("192.168.1.106",1);
put("192.168.1.107",2);
put("192.168.1.108",1);
put("192.168.1.109",1);
put("192.168.1.110",1);
}};
1.随机算法
- Random
随机，按权重设置随机概率。在一个截面上碰撞的概率高，但调用量越大分布越均匀，而且按概率使用权重后也比较均匀，有利于动态调整提供者权重。
public void random(){
List<String> keyList = new ArrayList<String>(serverMap.keySet());
Random random = new Random();
int idx = random.nextInt(keyList.size());
String server = keyList.get(idx);
System.out.println(server);
}
- WeightRandom
public void weightRandom(){
Set<String> keySet = serverMap.keySet();
List<String> servers = new ArrayList<String>();
for(Iterator<String> it = keySet.iterator();it.hasNext();){
String server = it.next();
int weithgt = serverMap.get(server);
for(int i=0;i<weithgt;i++){
servers.add(server);
}
}
String server = null;
Random random = new Random();
int idx = random.nextInt(servers.size());
server = servers.get(idx);
System.out.println(server);
}
2. 轮询及加权轮询
- 轮询(Round Robbin)
当服务器群中各服务器的处理能力相同时，且每笔业务处理量差异不大时，最适合使用这种算法。 轮循，按公约后的权重设置轮循比率。存在慢的提供者累积请求问题，比如：第二台机器很慢，但没挂，当请求调到第二台时就卡在那，久而久之，所有请求都卡在调到第二台上。
private Integer pos = 0;
public void roundRobin(){
List<String> keyList = new ArrayList<String>(serverMap.keySet());
String server = null;
synchronized (pos){
if(pos > keyList.size()){
pos = 0;
}
server = keyList.get(pos);
pos++;
}
System.out.println(server);
}
- 加权轮询(Weighted Round Robbin)
为轮询中的每台服务器附加一定权重的算法。比如服务器1权重1，服务器2权重2，服务器3权重3，则顺序为1-2-2-3-3-3-1-2-2-3-3-3- ......
public void weightRoundRobin(){
Set<String> keySet = serverMap.keySet();
List<String> servers = new ArrayList<String>();
for(Iterator<String> it = keySet.iterator();it.hasNext();){
String server = it.next();
int weithgt = serverMap.get(server);
for(int i=0;i<weithgt;i++){
servers.add(server);
}
}
String server = null;
synchronized (pos){
if(pos > keySet.size()){
pos = 0;
}
server = servers.get(pos);
pos++;
}
System.out.println(server);
}
3.最小连接及加权最小连接
最少连接(Least Connections)
在多个服务器中，与处理连接数(会话数)最少的服务器进行通信的算法。即使在每台服务器处理能力各不相同，每笔业务处理量也不相同的情况下，也能够在一定程度上降低服务器的负载。加权最少连接(Weighted Least Connection)
为最少连接算法中的每台服务器附加权重的算法，该算法事先为每台服务器分配处理连接的数量，并将客户端请求转至连接数最少的服务器上。
4.哈希算法
- 普通哈希
public void hash(){
List<String> keyList = new ArrayList<String>(serverMap.keySet());
String remoteIp = "192.168.2.215";
int hashCode = remoteIp.hashCode();
int idx = hashCode % keyList.size();
String server = keyList.get(Math.abs(idx));
System.out.println(server);
}
- 一致性哈希
一致性Hash，相同参数的请求总是发到同一提供者。当某一台提供者挂时，原本发往该提供者的请求，基于虚拟节点，平摊到其它提供者，不会引起剧烈变动。
5.IP地址散列
通过管理发送方IP和目的地IP地址的散列，将来自同一发送方的分组(或发送至同一目的地的分组)统一转发到相同服务器的算法。当客户端有一系列业务需要处理而必须和一个服务器反复通信时，该算法能够以流(会话)为单位，保证来自相同客户端的通信能够一直在同一服务器中进行处理。
6.URL散列
通过管理客户端请求URL信息的散列，将发送至相同URL的请求转发至同一服务器的算法。
Nginx实现负载均衡的几种方式
Nginx是基于反向代理实施的负载均衡。
1. 轮询
默认方式。每个请求按时间顺序逐一分配到不同的后端服务器，如果后端服务器down掉，自动剔除。使用于后台机器性能一致的情况。
upstream backserver {
server 192.168.0.14;
server 192.168.0.15;
}
2. 加权轮询
指定轮询几率，权重和几率成正比，用于后端服务器性能不均的情况。
upstream backserver {
server 192.168.0.14 weight=3;
server 192.168.0.15 weight=7;
}
权重越高，在被访问的概率越大，如上例，分别是30%，70%。
3. ip_hash
每个请求按照访问ip的hash结果分配，这样每个访客固定访问一个后端服务器，可以解决session问题。
upstream backserver {
ip_hash;
server 192.168.0.14:88;
server 192.168.0.15:80;
}
4. url_hash
按访问url的hash结果来分配请求，使每个url定向到同一个后端服务器，后端服务器为缓存时比较高效。
upstream backserver {
server squid1:3128;
server squid2:3128;
hash $request_uri;
hash_method crc32;
}
5. fair（第三方）
按后端服务器的响应时间来分配请求，相应时间短的有限分配。Nginx本身是不支持fair的，如果需要使用这种调用算法，须下载Nginx的upstream_fair包。
upstream backserver {
server server1;
server server2;
fair;
}
其他Nginx相关：
1.down 表示单前的server暂时不参与负载
2.weight 默认为1.weight越大，负载的权重就越大。
3.max_fails：允许请求失败的次数默认为1.当超过最大次数时，返回proxy_next_upstream模块定义的错误
4.fail_timeout:max_fails次失败后，暂停的时间。
5.backup： 其它所有的非backup机器down或者忙的时候，请求backup机器。所以这台机器压力会最轻。
负载均衡的三种传输模式
- 反向代理
- 穿透
- 三角
详细请参考引用贴。
此外，负载均衡除了反向代理，还有DNS负载均衡，HTTP重定向负载均衡等其他方式。详情请参考引用。
引用
负载均衡算法及手段
【Nginx】实现负载均衡的几种方式
关于负载均衡的三种传输模式（反向代理，透传，三角）
负载均衡的搭建方案
