负载均衡

话不多说前言

负载均衡 简单来说就像分班考试,入学人数太多,部分同学去重点班A,部分去奥数班B,部分去少年班C,作者本人去的是普通基础班,其实更适合终极一班

ELB

Elastic Load Balancing(ELB)以亚马逊提供的ELB为例,
主要提供三种负载均衡器:应用负载均衡(ALB),网络负载均衡,经典负载均衡。

几种负载均衡器比较

  • 经典负载均衡器

    • 请求级别和连接级别
    • 可在多个 Amazon EC2 实例之间提供基本的负载均衡。Classic Load Balancer 适用于在 EC2-Classic 网络内构建的应用程序
  • 网络负载均衡

    • 网络负载均衡器运行于连接级别(第 4 层),
    • 可将流量路由至 Amazon Virtual Private Cloud (Amazon VPC) 内的不同目标,每秒能够处理数百万请求,同时能保持超低延迟。
    • 网络负载均衡器还针对处理突发和不稳定的流量模式进行了优化。
  • 应用负载均衡器件

    • 最适合 HTTP 和 HTTPS 流量的负载均衡,
    • 面向交付包括微服务和容器在内的现代应用程序架构,提供高级请求路由功能。

负载均衡算法和实现

  • 轮询法
    • 所有请求按照顺序分发,不常用,比如分班,按报名顺序分班
// 加锁,保证线程安全
  public String robin() {
    synchronized (serverIndex) {
      if (serverIndex >= serverList.size()) {
        serverIndex = -1;
      }
      return serverList.get(++serverIndex);
    }
  }
  • 加权轮询

    • 轮询基础上加权重,好一点的机器权重大,也不常用了,以分班为例,教师大的分过去学生多
  • 随机/加权随机

    • 随机分配,次数多的时候接近于轮询,以分班为例,就是抽签分班。
public String random() {
    int randomIndex = new Random().nextInt(serverList.size());
    return serverList.get(randomIndex);
  }
  • 最小连接

    • 那个服务器连接少,就分流到那个机器,在机器性能不是均等的时候,这个方法容易把请求分到性能很差的机器上,也不好
    • 以分班为例,就是报名人数少的班级,优先调剂。
  • 源头地址hash

    • 教材案例
  public String hash(String remoteIp) {
    Integer hashCode = remoteIp.hashCode();
    serverIndex = hashCode % serverList.size();
    return serverList.get(serverIndex);
  }

  • 一致性hash
    • 便于扩展不影响大部分原有节点
    • 为了均衡加上了虚拟节点
public class ConsistHash {

  private String[] servers;

  // 真实结点列表
  private static List<String> realNodes = new LinkedList<>();

  // 虚拟节点,key表示虚拟节点的hash值,value表示虚拟节点的名称
  private static SortedMap<Integer, String> virtualNodes =
      new TreeMap<>();

  
  // 虚拟节点数目
  private static final int VIRTUAL_NODES = 150;

  public ConsistHash(String[] servers) {
    this.servers = servers;
  }

  private void getNode() {
    // 原始的服务器添加到真实结点列表中
    Collections.addAll(realNodes, servers);

    // 添加虚拟节点
    for (String str : realNodes) {
      for (int i = 0; i < VIRTUAL_NODES; i++) {
        String virtualNodeName = str + "&&VN" + String.valueOf(i);
        int hash = getHash(virtualNodeName);
        virtualNodes.put(hash, virtualNodeName);
      }
    }
  }

  // 使用FNV1_32_HASH算法计算服务器的Hash值,这里不使用重写hashCode的方法,最终效果没区别
  private static int getHash(String str) {
    final int p = 16777619;
    int hash = (int) 2166136261L;
    for (int i = 0; i < str.length(); i++) {
      hash = (hash ^ str.charAt(i)) * p;
    }
    hash += hash << 13;
    hash ^= hash >> 7;
    hash += hash << 3;
    hash ^= hash >> 17;
    hash += hash << 5;
    
    if (hash < 0) {
      hash = Math.abs(hash);
    }
    return hash;
  }

  // 得到应当路由到的结点
  public static String getServer(String node) {
    // 得到带路由的结点的Hash值
    int hash = getHash(node);
    // 得到大于该Hash值的所有Map
    SortedMap<Integer, String> subMap =
        virtualNodes.tailMap(hash);
    // 第一个Key就是顺时针过去离node最近的那个结点
    Integer i = subMap.firstKey();
    // 返回对应的虚拟节点名称,这里字符串稍微截取一下
    String virtualNode = subMap.get(i);
    return virtualNode.substring(0, virtualNode.indexOf("&&"));
  }
}

负载均衡系统设计需要考虑的其他因素

  • 实例健康检查(这个通常配合注册中心实现)
  • 机器自动扩展(用一致性负载均衡在扩容时影响机器少)
  • 监控服务,根据cpu使用量大小和流量大小,处理时长自动完成添加或者缩减实例服务
  • 应用负载均衡可以按照功能分发到对应的集群,比如登录给登录集群,支付给支付集群

这一篇就到这里了,
源码github

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,589评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,615评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,933评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,976评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,999评论 6 393
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,775评论 1 307
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,474评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,359评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,854评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,007评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,146评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,826评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,484评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,029评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,153评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,420评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,107评论 2 356

推荐阅读更多精彩内容

  • 摘要:面对大量用户访问、高并发请求,海量数据,可以使用高性能的服务器、大型数据库,存储设备,高性能Web服务器,采...
    layjoy阅读 13,817评论 3 93
  • 《老男孩Linux运维》Nginx Documentation 集群简介 集群就是指一组(若干)相互独立的计算机,...
    Zhang21阅读 3,401评论 0 51
  • “他们俩陪着我长大,现在,我陪着他俩变老。” 生长在一个普通的家庭里,所幸父母皆是懂得生活之人,但凡有出行的时间和...
    力小妞阅读 396评论 0 1
  • 一颗顽强的生命,需要生长,希望被全世界的看见,那些看见生命力的关系,亲情、爱情,都在默默滋润着着生命,没有看见这股...
    海水冰山阅读 282评论 0 0
  • 很多家长都会有这样的烦恼:孩子的欲望不能被满足的时候,他就会用哭闹来要挟家长。而且,这一哭,就能哭上半天,撕心裂肺...
    艾米本人阅读 351评论 0 5