使用Zookeeper实现选举

概述

分布式的集群很容易有“选举”的需求,所谓的选举可以先简单的理解为选出集群多个节点的“老大”(leader)

例子1 —— 主从节点选举

举个不是很恰当的例子(mysql不是使用zk来做选举的),我们使用mysql时候,为了做到高可用,可能会同时布两个mysql,一主多备。这个时候,如果master节点挂了,多个slave节点哪一个会被选为主节点?这里就涉及到“选举”,从多个slave节点里选出一个新的master。

例子2 —— 定时任务

又比如,我们经常有定时任务的需求,为了保证高可用。可能跑定时任务的服务会部署多台。

假设有这样一个任务,它会扫表A,然后将这个表A的数据插入到另一个表B里。当只有一台机器跑这个任务,没有问题。但是如果同一时刻,有多台机器在跑,数据就会重复插入到表B里。

所以理想的情况可能是,同一时刻只有一台机器在跑定时任务。当这台机器挂掉了,立刻在其他机器里面选举出一台机器跑定时任务。

使用zookeeper来做集群的选举

总的来说,选举这种需求还是不少的。zookeeper是一个成熟的分布式协调服务,通过使用zookeeper我们可以较为方便的实现集群的选举。

leader选举 —— 非公平模式

Zookeeper节点类型

要想了解如何使用zookeeper实现选举,首先需要了解zookeeper节点的类型

当我们创建zookeeper节点时候,可以填一个CreateMode参数,通过这个参数可以指定创建的节点的类型。

1)PERSISTENT 该值会永久存在,哪怕创建该节点的机器挂了,节点数据依然会存在。注意,如果有两台机器创建了重复的key,比如/data,第二次创建会失败。
2)PERSISTENT_SEQUENTIAL 比如我们创建一个/test节点,zk会在后面加一串数字比如 /test/test0000000001。如果重复创建,会创建一个/test/test0000000002节点(一直往后加1,可以多次创建)
3)EPHEMERAL 临时节点,当创建该节点的机器失连了,创建的这个节点会被删除
4)EPHEMERAL_SEQUENTIAL 和 PERSISTENT_SEQUENTIAL差不多的,只是节点是临时的。

使用zookeeper实现非公平模式选举

了解了zookeeper节点的类型,我们就可以通过zk来实现选举。

什么是非公平模式选举

所谓的非公平模式的选举是相对的,假设有10台机器进行选举,最后会选到哪一个机器,是完全随机的(看谁抢的快)。比如选到了A机器。某一时刻,A机器挂掉了,这时候会再次进行选举,这一次的选举依然是随机的。与某个节点是不是先来的,是不是等了很久无关。这种选举算法,就是非公平的算法。

非公平选举算法

1)首先通过zk创建一个 /server 的PERSISTENT节点
2)多台机器同时创建 /server/leader EPHEMERAL子节点
3)子节点只能创建一个,后创建的会失败。创建成功的节点被选为leader节点
4)所有机器监听 /server/leader 的变化,一旦节点被删除,就重新进行选举,抢占式地创建 /server/leader节点,谁创建成功谁就是leader。

非公平选举算法实现示例

public static void main(String[] args) throws Exception {
    zk = new ZooKeeper("127.0.0.1:2181", FairSelectDemo.SESSION_TIMEOUT, new Watcher() {
        @Override
        public void process(WatchedEvent event) {
            System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
        }
    });
    //zk启动后试着进行选举
    selection();

    TimeUnit.HOURS.sleep(1); //阻塞住
    zk.close();
}

private static void selection() throws Exception {
    try {
        //1、创建/server(这个通过zkCli创建好了),参数3表示公有节点,谁都可以改
        zk.create("/server/leader", "node1".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL);
        //2、没有抛异常,表示创建节点成功了
        System.out.println("选举成功");
    } catch (KeeperException.NodeExistsException e) {
        System.out.println("选举失败");
    } finally {
        //3、监听节点删除事件,如果删除了,重新进行选举
        zk.getData("/server/leader", new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
                try {
                    if (Objects.equals(event.getType(), Event.EventType.NodeDeleted)) {
                        selection();
                    }
                } catch (Exception e) {
                }
            }
        }, null);
    }
}

测试结果:



被选举的客户端被close掉后


公平选举

非公平选举的区别是,增加了先来的优先被选为leader的保证。

公平选举算法

1)首先通过zk创建一个 /server 的PERSISTENT节点
2)多台机器同时创建 /server/leader EPHEMERAL_SEQUENTIAL子节点
3)/server/leader000000xxx 后面数字最小的那个节点被选为leader节点
4)所有机器监听 前一个 /server/leader 的变化,比如 (leader00001监听 leader00002) 一旦节点被删除,就获取/server下所有leader,如果自己的数字最小那么自己就被选为leader

公平选举算法的实现

public static void main(String[] args) throws Exception {
    zk = new ZooKeeper("127.0.0.1:2181", UnFairSelectDemo.SESSION_TIMEOUT, new Watcher() {
        @Override
        public void process(WatchedEvent event) {
            System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
        }
    });

    String leaderPath = "/server/leader";

    //1、创建/server(这个通过zkCli创建好了),注意这里是EPHEMERAL_SEQUENTIAL的
    //2、和非公平模式不一样,只需要创建一次节点就可以了
    nodeVal = zk.create(leaderPath, "node1".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);

    //System.out.println(nodeVal);

    //启动后试着进行选举
    selection();

    TimeUnit.HOURS.sleep(1); //阻塞住
    zk.close();
}

private static void selection() throws Exception {
    //2、遍历/server下的子节点,看看自己的序号是不是最小的
    List<String> children = zk.getChildren("/server", null);
    Collections.sort(children);

    String formerNode = "";  //前一个节点,用于监听
    for (int i = 0; i < children.size(); i++) {
        String node = children.get(i);
        if (nodeVal.equals("/server/" + node)) {
            if (i == 0) {
                //第一个
                System.out.println("我被选为leader节点了");
            } else {
                formerNode = children.get(i - 1);
            }
        }
    }
    if (!"".equals(formerNode)) {
            //自己不是第一个,如果是第一个formerNode应该没有值
        System.out.println("我竞选失败了");
        //3、监听前一个节点的删除事件,如果删除了,重新进行选举
        zk.getData("/server/" + formerNode, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                System.out.println(event.getType() + "---" + event.getPath() + "---" + event.getState());
                try {
                    if (Objects.equals(event.getType(), Event.EventType.NodeDeleted)) {
                        selection();
                    }
                } catch (Exception e) {
                }
            }
        }, null);
    }
    //System.out.println("children:" + children);
}

测试结果



关闭被选为的leader节点后


总结

通过zookeeper的api,我们可以很容易实现集群的选举。当然此处介绍的zookeeper的选举比较适合于机器平权的情况,比如三台被选举的机器是一模一样的。如果有优先级,有调度,需要增加其他算法。这种方式就不适合了。

但是其实上述的写法不是很严谨,比如公平选举算法,如果中间一个节点挂掉了,假设有01,02,03,04节点 比如02挂掉了,03一直监听着02,那么这个时候03应该改为监听01,否则,当01挂了,没有任何节点能被选为leader。 除此之外,各种异常状态都需要我们自己处理。

为了更加方便的使用选举,我们可以使用Curator。Curator为我们封装了操作zookeeper底层的各种细节,比使用原生的zookeeper更为方便。下一篇博客会介绍下Curator的使用。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,204评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,091评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,548评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,657评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,689评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,554评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,302评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,216评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,661评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,851评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,977评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,697评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,306评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,898评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,019评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,138评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,927评论 2 355

推荐阅读更多精彩内容