Zookeeper之集群安装

Zookeeper 是一个分布式协调服务的开源框架。主要用来解决分布式集群中
应用系统的一致性问题。

主要内容:

  • 1.ZooKeeper 概述
  • 2.ZooKeeper 集群角色
  • 3.安装部署
  • 4.shell
  • 5.一键脚本

相关文章:
1.Zookeeper之集群安装
2.Zookeeper之数据订阅发布

1.ZooKeeper 概述

ZooKeeper 本质上是一个分布式的小文件存储系统。提供基于类似于文件系
统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。从而用来维
护和监控你存储的数据的状态变化。通过监控这些数据状态的变化,从而可以达
到基于数据的集群管理。诸如:统一命名服务、分布式配置管理、分布式消息队
列、分布式锁、分布式协调等功能

2.ZooKeeper 集群角色

zookeeper集群角色

Leader:
Zookeeper 集群工作的核心,主要工作如下:

  • 事物请求(写操作)的唯一调度和处理者,保证集群事务处理的顺序性;
  • 集群内部各个服务器的调度者。
  • 对于 create,setData,delete 等有写操作的请求,则需要统一转发给leader 处理,leader 需要决定编号、执行操作,这个过程称为一个事务。

Follower:

  • 处理客户端非事物(读操作)请求,转发事物请求给 Leader;
  • 参与集群 Leader 选举投票

3.安装部署

集群规划如下:

用户 主机名 ip
hadoop hadoop1 192.168.2.111
hadoop hadoop2 192.168.2.112
hadoop hadoop3 192.168.2.113

3.1.下载、解压

下载地址:传送门

tar -zxvf zookeeper-3.4.8.tar.gz

3.2.修改环境变量(注意:3台主机都需要修改并刷新)

sudo vi /etc/profile
export ZOOKEEPER_HOME=/opt/soft/zookeeper-3.4.8
export PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile

3.3.修改Zookeeper配置文件

cd zookeeper-3.4.8/conf
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg

添加如下内容:

dataDir=/opt/soft/zookeeper-3.4.8/zkdata
server.1=hadoop1:2888:3888     ## (心跳端口、选举端口)
server.2=hadoop2:2888:3888
server.3=hadoop3:2888:3888

在zookeeper-3.4.8下创建zkdata文件夹并创建myid文件

mkdir zkdata
cd zkdata
echo 1 > myid

3.4.分发到其它主机(hadoop2、hadoop3)

scp -r /opt/soft/zookeeper-3.4.8 hadoop@hadoop2:/opt/soft
scp -r /opt/soft/zookeeper-3.4.8 hadoop@hadoop3:/opt/soft

修改myid文件
到hadoop2上:修改myid为:2
到hadoop3上:修改myid为:3

3.5.启动(3台主机都要启动)

cd zookeeper-3.4.8
bin/zkServer.sh start

3.6.状态

jps 查看进程

bin/zkServer.sh status
zookeeper运行状态

如果启动不成功,可以观察zookeeper.out日志,查看错误信息进行排查

3.7.其它配置文件说明

配置文件中参数说明:

  • tickTime这个时间是作为zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是说每个tickTime时间就会发送一个心跳。

  • initLimit这个配置项是用来配置zookeeper接受客户端(这里所说的客户端不是用户连接zookeeper服务器的客户端,而是zookeeper服务器集群中连接到leader的follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过10个心跳的时间(也就是tickTime)长度后 zookeeper 服务器还没有收到客户端的返回信息,那么表明这个客户端连接失败。总的时间长度就是 10*2000=20秒。

  • syncLimit这个配置项标识leader与follower之间发送消息,请求和应答时间长度,最长不能超过多少个tickTime的时间长度,总的时间长度就是5*2000=10秒。

  • dataDir顾名思义就是zookeeper保存数据的目录,默认情况下zookeeper将写数据的日志文件也保存在这个目录里;

  • clientPort这个端口就是客户端连接Zookeeper服务器的端口,Zookeeper会监听这个端口接受客户端的访问请求;

  • server.A=B:C:D中的A是一个数字,表示这个是第几号服务器,B是这个服务器的IP地址,C第一个端口用来集群成员的信息交换,表示这个服务器与集群中的leader服务器交换信息的端口,D是在leader挂掉时专门用来进行选举leader所用的端口。

4.shell

# 连接
zkCli.sh -server "hadoop1:2181"

# 查看
ls /

# 创建
create /test "123"

# 查看节点
get /test

# 更新
set /test "456"

# 删除
rmr /test

5.一键脚本

startzk.sh 一键启动脚本(设置zookeeper的环境变量)

cat ./slave | while read line
do
{
 echo $line
 ssh $line "source /etc/profile;nohup zkServer.sh start >/dev/null 2>&1 &"
}&
wait
done 

stopzk.sh 一键停止脚本(设置zookeeper的环境变量)

cat ./slave | while read line
do
{
 echo $line
 ssh $line "source /etc/profile;jps |grep QuorumPeerMain |cut -c 1-4 |xargs kill -s 9"
}&
wait
done 

slave文件

hadoop1
hadoop2
hadoop3
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,657评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,662评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,143评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,732评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,837评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,036评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,126评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,868评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,315评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,641评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,773评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,859评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,584评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,676评论 2 351

推荐阅读更多精彩内容