k8s部署zookeeper集群

一、部署方式

k8s 以statefulset方式部署zookeeper集群

二、statefulset简介

StatefulSet是Kubernetes提供的管理有状态应用的负载管理控制器API。在Pods管理的基础上，保证Pods的顺序和一致性。与Deployment一样，StatefulSet也是使用容器的Spec来创建Pod，与之不同StatefulSet创建的Pods在生命周期中会保持持久的标记（例如Pod Name）。

StatefulSet适用于具有以下特点的应用：

具有固定的网络标记（主机名）

具有持久化存储

需要按顺序部署和扩展

需要按顺序终止及删除

需要按顺序滚动更新

二、安装NFS

2.1 NFS安装与配置 

详见NFS服务安装与配置

2.2 创建 zookeeper pv挂载目录

mkdir /data/tools/zk/pv

2.3 将zookeeper pv挂载目录

2.3.1 方法一

直接挂载到NFS共享目录

2.3.2 方法二

将创建的zookeeper pv挂载目录再挂载到NFS共享目录。

注：若都zk pv path都挂载到共享目录，则zk pv path不能相同

举例：

zk3个节点的path 对应NFS共享目录

共享目录1：/data/tools/pv/zk01

共享目录2：/data/tools/pv/zk02

共享目录3：/data/tools/pv/zk03

zk有3个节点要挂3个pv

pv1 name:k8s-pv-zk1

pv1 path:/data/tools/pv/zk01

pv2 name: k8s-pv-zk2

pv2 path:  /data/tools/pv/zk02

pv3 name: k8s-pv-zk3

pv3 path:  /data/tools/pv/zk03

注：pv path的路径要与NFS共享目录保持一致。

三、创建PV与PVC

3.1 PV与PVC简介

PersistentVolume（PV）是集群中由管理员配置的一段网络存储。 它是集群中的资源，就像节点是集群资源一样。 PV是容量插件，如Volumes，但其生命周期独立于使用PV的任何单个pod。 此API对象捕获存储实现的详细信息，包括NFS，iSCSI或特定于云提供程序的存储系统。

 PersistentVolumeClaim（PVC）是由用户进行存储的请求。 它类似于pod。 Pod消耗节点资源，PVC消耗PV资源。Pod可以请求特定级别的资源（CPU和内存）。声明可以请求特定的大小和访问模式（例如，可以一次读/写或多次只读）。

3.2 编写PV与PVC的yaml文件

zookeeper-pv.yaml

kind: PersistentVolume

apiVersion: v1

metadata:

  name: k8s-pv-zk1

  namespace: tools

  annotations:

    volume.beta.kubernetes.io/storage-class: "anything"

  labels:

    type: local

spec:

  capacity:

    storage: 5Gi

  accessModes:

    - ReadWriteOnce

  hostPath:

path:/data/tools/pv/zk01

  persistentVolumeReclaimPolicy: Recycle

---

kind: PersistentVolume

apiVersion: v1

metadata:

  name: k8s-pv-zk2

  namespace: tools

  annotations:

    volume.beta.kubernetes.io/storage-class: "anything"

  labels:

    type: local

spec:

  capacity:

    storage: 5Gi

  accessModes:

    - ReadWriteOnce

  hostPath:

path:/data/tools/pv/zk02

  persistentVolumeReclaimPolicy: Recycle

---

kind: PersistentVolume

apiVersion: v1

metadata:

  name: k8s-pv-zk3

  namespace: tools

  annotations:

    volume.beta.kubernetes.io/storage-class: "anything"

  labels:

    type: local

spec:

  capacity:

    storage: 5Gi

  accessModes:

    - ReadWriteOnce

  hostPath:

path:/data/tools/pv/zk03

  persistentVolumeReclaimPolicy: Recycle

注：以上方式是同时创建PV与PVC的yaml文件

 3.3 创建pv与pvc

 kubectl  apply  -f  zookeeper-pv.yaml

四、创建zookeeper集群

4.1 编写zookeepr.yaml文件

apiVersion: v1

kind: Service

metadata:

  name: zk-hs

  namespace: tools

  labels:

    app: zk

spec:

  ports:

  - port: 2888

    name: server

  - port: 3888

    name: leader-election

  clusterIP: None

  selector:

    app: zk

---

apiVersion: v1

kind: Service

metadata:

  name: zk-cs

  namespace:  tools

  labels:

    app: zk

spec:

  type: NodePort

  ports:

  - port: 2181

    nodePort: 21811

    name: client

  selector:

    app: zk

---

apiVersion: policy/v1beta1

kind: PodDisruptionBudget

metadata:

  name: zk-pdb

  namespace:  tools

spec:

  selector:

    matchLabels:

      app: zk

  maxUnavailable: 1

---

apiVersion: apps/v1

kind: StatefulSet

metadata:

  name: zk

  namespace:  tools

spec:

  selector:

    matchLabels:

      app: zk

  serviceName: zk-hs

  replicas: 3 #设置节点数量

  updateStrategy:

    type: RollingUpdate

  podManagementPolicy: Parallel

  template:

    metadata:

      labels:

        app: zk

    spec:

      containers:

      - name: zk

        imagePullPolicy: Always

        image: "zookeeper 镜像pull地址"

        resources:

          requests:

            memory: "500Mi"

            cpu: "0.5"

        ports:

        - containerPort: 2181

          name: client

        - containerPort: 2888

          name: server

        - containerPort: 3888

          name: leader-election

        command:

        - sh

        - -c

        - "/data/ecs/zookeeper-3.4.3/bin/start-zookeeper.sh \

          --servers=3 \

          --data_dir=/data/zookeeper/data \

          --data_log_dir=/data/zookeeper/data_log_dir \

          --log_dir=/data/zookeeper/log \

          --client_port=2181 \

          --election_port=3888 \

          --server_port=2888 \

          --tick_time=2000 \

          --init_limit=10 \

          --sync_limit=5 \

          --heap=512M \

          --max_client_cnxns=60 \

          --snap_retain_count=3 \

          --purge_interval=12 \

          --max_session_timeout=80000 \

          --min_session_timeout=8000 \

          --log_level=DEBUG"

        readinessProbe:

          exec:

            command:

            - sh

            - -c

            - "/data/zookeeper-3.4.3/bin/zookeeper-ready.sh 2181"

          initialDelaySeconds: 10

          timeoutSeconds: 5

        livenessProbe:

          exec:

            command:

            - sh

            - -c

            - "/data/zookeeper-3.4.3/bin/zookeeper-ready.sh 2181"

          initialDelaySeconds: 10

          timeoutSeconds: 5

        volumeMounts:

        - name: datadir

          mountPath: /data/zookeeper

      #securityContext:

      #  runAsUser: 1000

      #  fsGroup: 1000

  volumeClaimTemplates:

  - metadata:

      name: datadir

      annotations:

        volume.beta.kubernetes.io/storage-class: "anything"

    spec:

      accessModes: [ "ReadWriteOnce" ]

      resources:

        requests:

          storage: 500Mi

4.2 执行zookeeper.yaml文件

kubectl  apply  -f  zookeeper.yaml

4.3 对外暴露访问端口

#创建zkService.yaml

touch zkService.yaml

#zkService.yaml内容

apiVersion: v1

kind: Service

metadata:

  name: zk-cs

  namespace: tools

  labels:

    app: zk

spec:

  type: NodePort

  ports:

  - port: 2181

    nodePort: 21811

    name: client

  selector:

    app: zk

注：nodePort为对外暴露端口，端口号必须5位数字。建议与zookeeper.yaml合并。

#执行zookeeper.yaml文件

kubectl  apply  -f  zookeeper.yaml

五、检查节点 zookeeper是否启动成功

5.1 检查zookeeper服务是否启动成功

docker ps -a|grep zk         zk为name

zookeeper服务启动成功

5.2 检查集群是否启动成功

#进入容器

docker exec -it 3612d5a53590 /bin/bash

#cd到zookeeper部署目录

cd /data/zookeeper-3.4.3/bin

#检查服务状态

./zkServer.sh status

显示如下表示启动成功：

JMX enabled by default

Using config: /data/zookeeper-3.4.3/bin/../conf/zoo.cfg

Mode: leader/follower

注：3个节点会有一个leader,2个follower

显示如下表示启动失败：

JMX enabled by default

Using config: /data/zookeeper-3.4.3/bin/../conf/zoo.cfg

Error contacting service. It is probably not running.

六、遇到的坑

问题一：pvc创建成功后状态为 pending

原因：pv与pvc的storage不一样，pvc的storage只能小于或等pvc的storage

解决方法：

1、修改pvc的yam文件，将storage值修改为小于或等pv的storage值

2、删除pvc

3、重新创建pvc

问题二：启动zk提示没有权限

原因：StatefulSet指定了用户使用非root用户部署

解决方法：注释StatefulSet中以下内容

#securityContext:

#  runAsUser: 1000

#  fsGroup: 1000

问题三：zookeeper启动成功但集群没有启动成功

错误描述：

JMX enabled by default

Using config: /data/ecs/zookeeper-3.4.3/bin/../conf/zoo.cfg

Error contacting service. It is probably not running.

原因一：创建数据目录的myid的值与zoo.cfg的server.1=ip:2888:3888

注：创建数据目录,zoo.cfg配置文件里dataDir指定的那个目录下创建myid文件,并且指定id,改id为你zoo.cfg文件中server.1=ip:2888:3888中的1.只要在myid头部写入1即可.同理其它两台机器的id对应上。

例：

节点1 server.1=ip:2888:3888

节点2 server.2=ip:2888:3888

节点1的 myid内容为1

节点2的 myid内容为2

解决方法一：

1、进入zookeeper部署的容器，

2、删除/data/zookeeper/data下所有内容

3、kill所有节点 zookeeper进程，让zookeeper重新启动。

解决方法二：

升级zookeeper版本至3.4.4及以上

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 211,948评论 6赞 492
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,371评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 157,490评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,521评论 1赞 284
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,627评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,842评论 1赞 290
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,997评论 3赞 408
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,741评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,203评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,534评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,673评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,339评论 4赞 330
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,955评论 3赞 313
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,770评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,000评论 1赞 266
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,394评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,562评论 2赞 349