使用docker-compose部署zk集群和kafka集群

一、环境介绍

使用VM创建四台虚拟机
https://www.jianshu.com/nb/32214413

IP 说明
192.168.235.3 zookeeper、kafka
192.168.235.4 zookeeper、kafka
192.168.235.5 zookeeper、kafka
192.168.235.6 kafka-manager

二、安装docker

https://www.jianshu.com/p/2a0406c17880

三、安装docker-compose

https://www.jianshu.com/p/8e5a211a9872

四、部署zookeeper集群

三台服务器准备挂载目录

192.168.235.3
[root@zkKafka1 ~]# mkdir /usr/local/zookeeper
[root@zkKafka1 ~]# cd /usr/local/zookeeper/
[root@zkKafka1 zookeeper]# mkdir {data,datalog}
[root@zkKafka1 zookeeper]# vi docker-compose.yml

version: '3.8'
services:
  zookeeper1:
    image: zookeeper #镜像
    restart: always # 重启
    container_name: zookeeper1 #容器名
    volumes:
    - /usr/local/zookeeper/data:/data
    - /usr/local/zookeeper/datalog:/datalog
    environment:
      ZOO_MY_ID: 1 # id
      ZOO_SERVERS: server.1=192.168.235.3:2888:3888;2181 server.2=192.168.235.4:2888:3888;2181 server.3=192.168.235.5:2888:3888;2181
    network_mode: "host"

启动zookeeper

[root@zkKafka1 zookeeper]# docker-compose up -d

[root@zkKafka1 zookeeper]# docker ps -a
CONTAINER ID   IMAGE       COMMAND                  CREATED         STATUS         PORTS     NAMES
0c4b572c7882   zookeeper   "/docker-entrypoint.…"   3 minutes ago   Up 3 minutes             zookeeper1

[root@zkKafka1 zookeeper]# docker exec -it zookeeper1 /bin/bash

root@zkKafka1:/apache-zookeeper-3.7.0-bin# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower
192.168.235.4
[root@zkKafka2 ~]# mkdir /usr/local/zookeeper
[root@zkKafka2 ~]# cd /usr/local/zookeeper/
[root@zkKafka2 zookeeper]# mkdir {data,datalog}
[root@zkKafka2 zookeeper]# vi docker-compose.yml

version: '3.8'
services:
  zookeeper2:
    image: zookeeper #镜像
    restart: always # 重启
    container_name: zookeeper2 #容器名
    volumes:
    - /usr/local/zookeeper/data:/data
    - /usr/local/zookeeper/datalog:/datalog
    environment:
      ZOO_MY_ID: 2 # id
      ZOO_SERVERS: server.1=192.168.235.3:2888:3888;2181 server.2=192.168.235.4:2888:3888;2181 server.3=192.168.235.5:2888:3888;2181
    network_mode: "host"

启动zookeeper

[root@zkKafka2 zookeeper]# docker-compose up -d

[root@zkKafka2 zookeeper]# docker ps -a
CONTAINER ID   IMAGE       COMMAND                  CREATED         STATUS         PORTS     NAMES
6bf7fc646dac   zookeeper   "/docker-entrypoint.…"   5 minutes ago   Up 5 minutes             zookeeper2

[root@zkKafka2 zookeeper]# docker exec -it zookeeper2 /bin/bash

root@zkKafka2:/apache-zookeeper-3.7.0-bin# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: leader
192.168.235.5
[root@zkKafka3 ~]# mkdir /usr/local/zookeeper
[root@zkKafka3 ~]# cd /usr/local/zookeeper/
[root@zkKafka3 zookeeper]# mkdir {data,datalog}
[root@zkKafka3 zookeeper]# vi docker-compose.yml

version: '3.8'
services:
  zookeeper3:
    image: zookeeper #镜像
    restart: always # 重启
    container_name: zookeeper3 #容器名
    volumes:
    - /usr/local/zookeeper/data:/data
    - /usr/local/zookeeper/datalog:/datalog
    environment:
      ZOO_MY_ID: 3 # id
      ZOO_SERVERS: server.1=192.168.235.3:2888:3888;2181 server.2=192.168.235.4:2888:3888;2181 server.3=192.168.235.5:2888:3888;2181
    network_mode: "host"

启动zookeeper

[root@zkKafka3 zookeeper]# docker-compose up -d

[root@zkKafka3 zookeeper]# docker ps -a
CONTAINER ID   IMAGE       COMMAND                  CREATED         STATUS         PORTS     NAMES
8633d1c7e6cd   zookeeper   "/docker-entrypoint.…"   8 minutes ago   Up 8 minutes             zookeeper3

[root@zkKafka3 zookeeper]# docker exec -it zookeeper3 /bin/bash

root@zkKafka3:/apache-zookeeper-3.7.0-bin# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.
Mode: follower

五、部署kafka集群

192.168.235.3

准备挂载目录

[root@zkKafka1 ~]# mkdir /usr/local/kafka
[root@zkKafka1 ~]# cd /usr/local/kafka/
[root@zkKafka1 kafka]# mkdir log
[root@zkKafka1 kafka]# vi docker-compose.yml

编写docker-compose.yml文件

version: '3.8'
services:
  kafka1:
    image: wurstmeister/kafka:2.11-0.11.0.3 # 镜像
    restart: always #重启
    container_name: kafka1 #容器名
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.235.3:9092 #绑定发布订阅的端口
      KAFKA_ZOOKEEPER_CONNECT: 192.168.235.3:2181,192.168.235.4:2181,192.168.235.5:2181 #连接zookeeper的服务地址
      KAFKA_ADVERTISED_PORT: 9092 # 暴露在外的端口
      KAFKA_BROKER_ID: 0 #kafka的broker.id，区分不同broker
      KAFKA_LISTENERS: PLAINTEXT://192.168.235.3:9092 #绑定监听9092端口
      JMX_PORT: 9999 # jmx
      KAFKA_MESSAGE_MAX_BYTES: 2000000 #单条消息最大字节数
    volumes:
    - /etc/localtime:/etc/localtime
    - /usr/local/kafka/log:/kafka
    network_mode: "host"

启动kafka

[root@zkKafka1 kafka]# docker-compose up -d
192.168.235.4

准备挂载目录

[root@zkKafka2 ~]# mkdir /usr/local/kafka
[root@zkKafka2 ~]# cd /usr/local/kafka/
[root@zkKafka2 kafka]# mkdir log
[root@zkKafka2 kafka]# vi docker-compose.yml

编写docker-compose.yml文件

version: '3.8'
services:
  kafka2:
    image: wurstmeister/kafka:2.11-0.11.0.3 # 镜像
    restart: always #重启
    container_name: kafka2 #容器名
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.235.4:9092 #绑定发布订阅的端口
      KAFKA_ZOOKEEPER_CONNECT: 192.168.235.3:2181,192.168.235.4:2181,192.168.235.5:2181 #连接zookeeper的服务地址
      KAFKA_ADVERTISED_PORT: 9092 # 暴露在外的端口
      KAFKA_BROKER_ID: 0 #kafka的broker.id，区分不同broker
      KAFKA_LISTENERS: PLAINTEXT://192.168.235.4:9092 #绑定监听9092端口
      JMX_PORT: 9998 # jmx
      KAFKA_MESSAGE_MAX_BYTES: 2000000 #单条消息最大字节数
    volumes:
    - /etc/localtime:/etc/localtime
    - /usr/local/kafka/log:/kafka
    network_mode: "host"

启动kafka

[root@zkKafka2 kafka]# docker-compose up -d
192.168.235.5

准备挂载目录

[root@zkKafka3 ~]# mkdir /usr/local/kafka
[root@zkKafka3 ~]# cd /usr/local/kafka/
[root@zkKafka3 kafka]# mkdir log
[root@zkKafka3 kafka]# vi docker-compose.yml

编写docker-compose.yml文件

version: '3.8'
services:
  kafka3:
    image: wurstmeister/kafka:2.11-0.11.0.3 # 镜像
    restart: always #重启
    container_name: kafka3 #容器名
    environment:
      KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://192.168.235.5:9092 #绑定发布订阅的端口
      KAFKA_ZOOKEEPER_CONNECT: 192.168.235.3:2181,192.168.235.4:2181,192.168.235.5:2181 #连接zookeeper的服务地址
      KAFKA_ADVERTISED_PORT: 9092 # 暴露在外的端口
      KAFKA_BROKER_ID: 0 #kafka的broker.id，区分不同broker
      KAFKA_LISTENERS: PLAINTEXT://192.168.235.5:9092 #绑定监听9092端口
      JMX_PORT: 9997 # jmx
      KAFKA_MESSAGE_MAX_BYTES: 2000000 #单条消息最大字节数
    volumes:
    - /etc/localtime:/etc/localtime
    - /usr/local/kafka/log:/kafka
    network_mode: "host"

启动kafka

[root@zkKafka3 kafka]# docker-compose up -d

六、部署kafka-manager

[root@localhost ~]# mkdir /usr/local/kafka-manager
[root@localhost ~]# cd /usr/local/kafka-manager/
[root@localhost kafka-manager]# vi docker-compose.yml

编写docker-compose.yml文件

version: '3.8'
services:
  kafka-manager:
    image: hlebalbau/kafka-manager:stable
    restart: always
    container_name: kafka-manager
    environment:
      ZK_HOSTS: 192.168.235.3:2181,192.168.235.4:2181,192.168.235.5:2181
      KAFKA_BROKERS: 192.168.235.3:9092,192.168.235.4:9092,192.168.235.5:9092
      APPLICATION_SECRET: "random-secret"
      KAFKA_MANAGER_AUTH_ENABLED: "true" # 开启验证
      KAFKA_MANAGER_USERNAME: "admin" # 用户名
      KAFKA_MANAGER_PASSWORD: "admin" # 密码
      KM_ARGS: -Djava.net.preferIPv4Stack=true
      network_mode: "host"

启动kafka-manager

[root@localhost kafka-manager]# docker-compose up -d

访问192.168.78.155:9000

账号：admin

密码：admin

手动添加集群即可

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 220,639评论 6赞 513
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 94,093评论 3赞 396
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 167,079评论 0赞 357
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 59,329评论 1赞 295
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 68,343评论 6赞 397
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 52,047评论 1赞 308
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 40,645评论 3赞 421
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 39,565评论 0赞 276
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 46,095评论 1赞 319
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,201评论 3赞 340
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,338评论 1赞 352
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 36,014评论 5赞 347
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 41,701评论 3赞 332
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,194评论 0赞 23
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,320评论 1赞 272
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 48,685评论 3赞 375
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 45,345评论 2赞 358