Linux下Zookeeper集群配置

简介

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

  • ZooKeeper的基本运转流程:
  1. 选举Leader,选举机制大于1/2。
  2. 同步数据。
  3. 选举Leader过程中算法有很多,但要达到的选举标准是一致的。
  4. Leader要具有最高的执行ID,类似root权限。
  5. 集群中大多数的机器得到响应并Follow选出的Leader。
  • Leader工作流程:
  1. 恢复数据;
  2. 维持与Learner的心跳,接收Learner请求并判断Learner的请求消息类型;
  3. Learner的消息类型主要有PING消息、REQUEST消息、ACK消息、REVALIDATE消息,根据不同的消息类型,进行不同的处理。PING消息是指Learner的心跳信息;REQUEST消息是Follower发送的提议信息,包括写请求及同步请求;ACK消息是Follower的对提议的回复,超过半数的Follower通过,则commit该提议;REVALIDATE消息是用来延长SESSION有效时间。
  • Follower工作流程:

    • Follower主要有四个功能
    1. 向Leader发送请求(PING消息、REQUEST消息、ACK消息、REVALIDATE消息)
    2. 接收Leader消息并进行处理;
    3. 接收Client的请求,如果为写请求,发送给Leader进行投票;
    4. 返回Client结果。
    • Follower的消息循环处理如下几种来自Leader的消息
    1. PING消息:心跳消息
    2. PROPOSAL消息:Leader发起的提案,要求Follower投票
    3. COMMIT消息:服务器端最新一次提案的信息
    4. UPTODATE消息:表明同步完成
    5. REVALIDATE消息:根据Leader的REVALIDATE结果,关闭待revalidate的session还是允许其接受消息
    6. SYNC消息:返回SYNC结果到客户端,这个消息最初由客户端发起,用来强制得到最新的更新。
      更多内容:http://www.cnblogs.com/felixzh/p/5869212.html

安装配置

  • 环境信息
IP HOST_NAME
192.168.10.10 Ser-Zookeeper01
192.168.10.11 Ser-Zookeeper02
192.168.10.12 Ser-Zookeeper03
  • JDK安装
cd  /home/worker/soft/
wget http://10.12.3.24/soft/jdk/jdk1.8.0_65.tar.gz
mkdir -p /home/worker/usr/local/
tar xf jdk1.8.0_65.tar.gz -C /home/worker/usr/local/
ln -s /home/worker/usr/local/jdk1.8.0_65 /home/worker/usr/local/jdk
vim ~/.bash_profile
#########JDK ENV#########
export JAVA_HOME=/home/worker/usr/local/jdk
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

生效环境变量
source ~/.bash_profile
  • 安装zookeeper,配置单点
wget http://10.12.3.24/upload/zhaobin/zookeeper/zookeeper-3.4.6.tar.gz
tar xf zookeeper-3.4.6.tar.gz -C ~/opt/ 
cd ~/opt/zookeeper-3.4.6/conf
cp zoo_sample.cfg zoo.cfg

#修改配置文件
vim zoo.cfg
dataDir=/home/worker/opt/zookeeper_data/

#创建数据目录
mkdir -p /home/worker/opt/zookeeper_data/
  • 关闭、启动、重启服务等
/home/worker/opt/zookeeper-3.4.6/bin/zkServer.sh --help
JMX enabled by default
Using config: /home/worker/opt/zookeeper-3.4.6/bin/../conf/zoo.cfg
Usage: /home/worker/opt/zookeeper-3.4.6/bin/zkServer.sh {start|start-foreground|stop|restart|status|upgrade|print-cmd}

集群配置

  • 在集群的每台服务器host中添加以下配置
vim /etc/hosts
192.168.10.10   Ser-Zookeeper01
192.168.10.11   Ser-Zookeeper02
192.168.10.12   Ser-Zookeeper03
  • 修改配置文件,配置集群
vim zoo.cfg
server.1=Ser-Zookeeper01:2888:3888 
server.2=Ser-Zookeeper02:2888:3888 
server.3=Ser-Zookeeper03:2888:3888
[worker@Ser-Zookeeper01 conf]$ echo '1' >> /home/worker/opt/zookeeper_data/myid
[worker@Ser-Zookeeper02 conf]$ echo '2' >> /home/worker/opt/zookeeper_data/myid
[worker@Ser-Zookeeper03 conf]$ echo '3' >> /home/worker/opt/zookeeper_data/myid
  • 重启zookeeper服务
~/opt/zookeeper-3.4.6/bin/zkServer.sh restart
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,816评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,729评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,300评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,780评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,890评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,084评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,151评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,912评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,355评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,666评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,809评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,504评论 4 334
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,150评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,882评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,121评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,628评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,724评论 2 351

推荐阅读更多精彩内容

  • 一个真正的写数据流程是怎么样的?一个真正的读数据流程是怎么样的?一个真正的同步数据流程是怎么样的?从哪里到哪里?什...
    时待吾阅读 4,012评论 0 14
  • zookeeper单机模式搭建Zookeeper集群及伪集群模式搭建 简介 ZooKeeper 是一个开源的分布式...
    普度众生的面瘫青年阅读 2,765评论 0 10
  • 本文将从系统模型、序列化与协议、客户端工作原理、会话、服务端工作原理以及数据存储等方面来揭示ZooKeeper的技...
    端木轩阅读 3,794评论 0 42
  • ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于...
    rthsfjhtrj阅读 557评论 0 1
  • “想想看:你每天写一页,一年下来,小说字数就相当可观了。当今作家,一年能写上一本小说的,一年年下来,就称得上是多产...
    李青尧阅读 2,716评论 12 91