负载均衡算法

什么是负载均衡

由于微服务架构的广泛应用,对于负载较高的服务来说,往往对应着多台服务器组成的集群。请求来临时,为了将请求均衡的分配到后端服务器,负载均衡程序将从注册中心查询可用的服务节点,通过负载均衡算法和规则,选取一台服务器进行访问,这个过程称为服务的负载均衡。

为什么要使用负载均衡

让所有节点以最小的代价、最好的状态对外提供服务,快速获取重要数据,最大化降低了单个节点过载、甚至crash的概率,解决大量并发访问服务问题;

负载均衡算法

轮询法

将请求顺序轮流分配到节点上;

随机法

根据节点列表的大小,随机选择一台进行访问,当请求无限大的时候,效果等同于平均分配;

源地址哈希法

根据客户端的IP生成一个hash值,与节点列表大小进行取模,当节点列表不发生改变的时候,请求恒打在固定服务器上;

加权轮询法

不同服务器的配置不同,为其设置权重,使得能者多劳;

加权随机法

同加权轮询法

最小连接法

由于后端服务器的配置不同,对于请求响应速度也不同,每次选择请求积压条数最少的服务器被选中;

自适应最优选择方法

这种算法的主要思路是在客户端本地维护一份同每一个服务节点的性能统计快照,并且每隔一段时间去更新这个快照。在发起请求时,根据“二八原则”,把服务节点分成两部分,找出 20% 的那部分响应最慢的节点,然后降低权重。这样的话,客户端就能够实时的根据自身访问每个节点性能的快慢,动态调整访问最慢的那些节点的权重,来减少访问量,从而可以优化长尾请求。由此可见,自适应最优选择算法是对加权轮询算法的改良,可以看作是一种动态加权轮询算法。它的实现关键之处就在于两点:第一点是每隔一段时间获取客户端同每个服务节点之间调用的平均性能统计;第二点是按照这个性能统计对服务节点进行排序,对排在性能倒数 20% 的那部分节点赋予一个较低的权重,其余的节点赋予正常的权重。

 //负载均衡算法
public class LoadBalancingTest {
    public static final Map<String,Integer> serverWeightMap = new HashMap<>();
    static {
        serverWeightMap.put("127.0.0.1",1);
        serverWeightMap.put("127.0.0.2",1);
        serverWeightMap.put("127.0.0.3",5);
        serverWeightMap.put("127.0.0.4",1);
        serverWeightMap.put("127.0.0.5",1);
        serverWeightMap.put("127.0.0.6",1);
    }
    public static Integer pos = 0;
    public static void main(String[] args) {
        String server = "";
        //轮询法
        server = polling();
        server = random();
        server = ipHash("127.0.0.1");
        server = weightedPolling();
        server = weightedRandom();
        server = leastConnection();
        System.out.println(server);
    }

    //轮询法
    private static String polling(){
        //重新创建一个map,避免出现由于服务器上线与下线造成的并发问题
        Map<String,Integer> serverMap = new HashMap<>();
        serverMap.putAll(serverWeightMap);
        //获取IP地址list
        Set<String> keySet = serverMap.keySet();
        ArrayList<String> keyList = new ArrayList<>();
        keyList.addAll(keySet);

        String server = null;
        synchronized (pos){
            if (pos >= keySet.size()){
                pos = 0;
            }
            server = keyList.get(pos);
            pos++;
        }
        return server;
    }
    //随机法
    private static String random(){
        //重新创建一个map,避免出现由于服务器上线与下线造成的并发问题
        Map<String,Integer> serverMap = new HashMap<>();
        serverMap.putAll(serverWeightMap);
        //获取IP地址list
        Set<String> keySet = serverMap.keySet();
        ArrayList<String> keyList = new ArrayList<>();
        keyList.addAll(keySet);

        Random random = new Random();
        int randomPos = random.nextInt(keySet.size());
        String server = keyList.get(randomPos);
        return server;
    }
    //源地址哈希法
    private static String ipHash(String ip){
        //重新创建一个map,避免出现由于服务器上线与下线造成的并发问题
        Map<String,Integer> serverMap = new HashMap<>();
        serverMap.putAll(serverWeightMap);
        //获取IP地址list
        Set<String> keySet = serverMap.keySet();
        ArrayList<String> keyList = new ArrayList<>();
        keyList.addAll(keySet);

        int hashCode = ip.hashCode();
        int serverPos = hashCode%keySet.size();//keyset 不为null
        String server = keyList.get(serverPos);
        return server;
    }
    //加权轮询法
    private static String weightedPolling(){
        //重新创建一个map,避免出现由于服务器上线与下线造成的并发问题
        Map<String,Integer> serverMap = new HashMap<>();
        serverMap.putAll(serverWeightMap);
        //获取IP地址list
        Set<String> keySet = serverMap.keySet();
        Iterator<String> it = keySet.iterator();
        ArrayList<String> keyList = new ArrayList<>();
        String server = null;
        while (it.hasNext()){
            server = it.next();
            Integer weight = serverMap.get(server);
            for (int i = 0 ; i < weight ; i++){
                keyList.add(server);
            }
        }
        server = null;
        synchronized (pos){
            if (pos >= keySet.size()){
                pos = 0;
            }
            server = keyList.get(pos);
            pos++;
        }
        return server;
    }
    //加权随机法
    private static String weightedRandom(){
        //重新创建一个map,避免出现由于服务器上线与下线造成的并发问题
        Map<String,Integer> serverMap = new HashMap<>();
        serverMap.putAll(serverWeightMap);
        //获取IP地址list
        Set<String> keySet = serverMap.keySet();
        Iterator<String> it = keySet.iterator();
        ArrayList<String> keyList = new ArrayList<>();
        String server = null;
        while (it.hasNext()){
            server = it.next();
            Integer weight = serverMap.get(server);
            for (int i = 0 ; i < weight ; i++){
                keyList.add(server);
            }
        }
        Random random = new Random();
        int randomPos = random.nextInt(keyList.size());
        server = keyList.get(randomPos);
        return server;
    }
    //最小连接法,将权重作为连接数在该方法中使用
    private static String leastConnection(){
        //重新创建一个map,避免出现由于服务器上线与下线造成的并发问题
        Map<String,Integer> serverMap = new HashMap<>();
        serverMap.putAll(serverWeightMap);

        String server = null;
        int minConnections = -1;
        for (String key : serverMap.keySet()){
            if (serverMap.get(key)<minConnections){
                minConnections = serverMap.get(key);
                server = key;
            }
        }
        serverMap.put(server,minConnections);
        serverWeightMap.put(server,minConnections);
        return server;
    }
}
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,744评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,505评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,105评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,242评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,269评论 6 389
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,215评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,096评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,939评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,354评论 1 311
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,573评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,745评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,448评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,048评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,683评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,838评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,776评论 2 369
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,652评论 2 354

推荐阅读更多精彩内容

  • 记得,我刚工作的时候,同事说了一个故事:在他刚工作的时候,他同事有一天兴冲冲的跑到公司说,你们知道吗,公司请了个大...
    CoderBear阅读 543评论 0 1
  • 对于要实现高性能集群,选择好负载均衡器很重要,同时针对不同的业务场景选择合适的负载均衡算法也是非常重要的。 一、负...
    小manong阅读 5,173评论 0 2
  • 一、负载均衡算法理论 以下理论知识为互联网资源的整理,若有侵权,请私信联系删除 1. 轮询算法(Round Rob...
    HRocky阅读 2,064评论 0 0
  • 概述 比较经典的5种负载均衡算法:随机法、轮询法、最少连接数法、最快响应法、Hash化散列法(包括IP-Hash和...
    黄靠谱阅读 2,999评论 0 33
  • 感觉直接上图才对得起和我一样渴望进化的产品Newers。 关于登录/注册那件事,用你来总结一下我短暂的PM路不会介...
    用户运营笔记阅读 857评论 1 51