docker-compose部署zk+kafka+storm集群

**目录:**

1.  docker环境安装

2.  zookeeper和kafka集群部署

3.  influxdb单例部署

4.  zkui、kafdrop、grafana等界面安装

5.  storm集群部署

6.  canal部署

7.  portainer部署

## 集群部署总览

| 172.22.12.20 | 172.22.12.21 | 172.22.12.22 | 172.22.12.23 | 172.22.12.24

| ------ | ------ | ------ | ------ | ------ |

| zoo1:2181 | zoo2:2182 | zoo3:2183 | zkui:9090 (admin/manager)| |

| kafka1:9092 | kafka2:9092 | kafka3:9092 | kafdrop:9000 | |

| influxdb:8086| | | grafana:3000 (admin/chanhu)| |

| storm-nimbus1 | storm-nimbus2 | storm-nimbus3 | portainer:9002(admin/chanhu@123)

| storm-supervisor1 | storm-supervisor2 | storm-supervisor3 |

||storm-ui:8080|

## docker安装       

```

• yum update -y       

• yum install -y yum-utils device-mapper-persistent-data lvm2     

• yum-config-manager  --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo     

• yum install docker-ce docker-ce-cli containerd.io   

• systemctl start docker   

```

## docker-compose安装   

```

• yum install epel-release   

• yum install -y python-pip   

• pip install --upgrade pip   

• pip install docker-compose   

```


## 修改每一台宿主机的hosts文件     

```

vim /etc/hosts   

172.22.12.20 datacloud0   

172.22.12.21 datacloud1   

172.22.12.22 datacloud2   

172.22.12.23 datacloud3   

172.22.12.24 datacloud4   

```


## zookeeper集群   

在20，21，22三台机器部署zk集群，分别编写docker-compose文件     

集群中如果只剩一台是正常运行的，则集群失效   

以其中一台为例：

``` 

    zoo:   

        image: zookeeper:3.4.14   

        restart: always   

        hostname: zoo1   

        container_name: zoo1   

        ports:   

          - 2181:2181   

          - 2888:2888   

          - 3888:3888   

        volumes:   

          - "./zoo/data:/data"   

          - "./zoo/datalog:/datalog"   

        environment:   

          ZOO_MY_ID: 1   

          ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=172.22.12.21:2888:3888 server.3=172.22.12.22:2888:3888   

```

"./zoo/data:/data"为数据目录挂载，必须配置   

环境变量配置， `ZOO_MY_ID`三台分别是1、2、3，`ZOO_SERVERS`配置的是集群地址，其中当前机器为0.0.0.0   


## kakfa集群   

在20，21，22三台机器部署kafka集群，分别编写docker-compose文件（可以和zk的docker-compose文件写在一起）   

以其中一台为例：

```   

      kafka:   

        image: wurstmeister/kafka:2.12-2.2.2   

        restart: always   

        hostname: kafka1   

        container_name: kafka1   

        ports:   

          - "9092:9092"   

        environment:   

          KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.22.12.20:9092   

          KAFKA_ADVERTISED_HOST_NAME: 172.22.12.20   

          KAFKA_ADVERTISED_PORT: 9092   

          KAFKA_ZOOKEEPER_CONNECT: 172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181   

        volumes:   

          - ./kafka/logs:/kafka 

``` 

没有太多需要注意的地方，`KAFKA_ZOOKEEPER_CONNECT`正确配置好zk集群地址,还有ADVERTISED相关配置为当前容器。   


## influxdb 

``` 

      influxdb:   

        image: influxdb:1.7   

        restart: always   

        container_name: influxdb   

        ports:   

          - "2003:2003"   

          - "8086:8086"   

          - "8089:8089"   

          - "8091:8091"   

        volumes:   

          - "./influxdb:/var/lib/influxdb"   

        environment:   

          - INFLUXDB_GRAPHITE_ENABLED=true   

```   

"./influxdb:/var/lib/influxdb"为数据目录挂载，**必须配置**。INFLUXDB_GRAPHITE_ENABLED启动graphite功能。   

influxdb简单操作：


*• docker exec -it influxdb influx   

• show databases   

• create database XX   

• use XX   

• INSERT cpu,host=serverA,region=us_west value=0.64   

• SELECT "host", "region", "value" FROM "cpu"*




## docker-compose相关操作   

    docker-compose [-f <文件名>] up -d   

    docker-compose [-f <文件名>] down   


## zkui/kafdrop/grafana   

在23机器上，部署这三个web界面：

```   

      zkui:   

        image: maauso/zkui   

        restart: always   

        container_name: zkui   

        ports:   

          - 9090:9090   

        environment:   

          ZKLIST: 172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181   

      kafdrop:   

        image: obsidiandynamics/kafdrop:latest   

        restart: always   

        container_name: kafdrop   

        ports:   

          - "9000:9000"   

        environment:   

          KAFKA_BROKERCONNECT: 172.22.12.20:9092,172.22.12.20:9092,172.22.12.20:9092   

      grafana:   

        image: grafana/grafana:master   

        restart: always   

        container_name: grafana   

        ports:   

          - "3000:3000"   

        volumes:   

          - "./grafana:/var/lib/grafana" 

``` 

因为是web页面，配置好相关服务地址，启动就行了   

其中grafana需要配置目录挂载，主要是记录自定义的数据源和面板配置等（这里需要chmod -R 777 grafana/） 


## storm集群

1.  storm集群由`nimbus、supervisor、ui`三部分组成 

nimbus为主节点，supervisor为从节点，前者将任务发到zookeeper上，后者到zookeeper上获取任务。ui为web页面。 

20、21、22三台机器分别部署nimbus和supervisor节点各三个，且建议单独建立docker-compose脚本文件，在zookeeper启动后执行。 

docker-compose脚本大致如下： 

```

  nimbus:

    image: storm:2.2.0

    container_name: nimbus1

    command: storm nimbus

    restart: always

    hostname: nimbus1

    ports:

      - 6627:6627

    volumes:

      - "./storm.yaml:/conf/storm.yaml"

      - "./nimbus/data:/data"

      - "./nimbus/logs:/logs"

  supervisor:

    image: storm:2.2.0

    container_name: supervisor1

    command: storm supervisor

    hostname: supervisor1

    depends_on:

      - nimbus

    links:

      - nimbus:nimbus

    restart: always

    volumes:

      - "./storm.yaml:/conf/storm.yaml"

      - "./supervisor/data:/data"

      - "./supervisor/logs:/logs"

```

nimbus、supervisor、ui都是使用同一个storm镜像，只是启动参数时command不同。 

> 这里指定nimbus和supervisor的hostname，原因是默认情况下它们注册到zookeeper时的host为docker容器随机生成的uuid， 

> 如果nimbus和supervisor重启了，其容器uuid也会重置，这时就和zookeeper中已经保存的uuid冲突，发生错误。   

> 网上的方案是：1.停掉storm集群后删除zookeeper上的storm节点并重启zookeeper+storm集群；2.单独建一个无状态的zookeeper来给storm集群使用   

这里采取的方案是指定nimbus和supervisor注册时的host，其重启时不会产生变化   

2. 启动时需要指定一些环境变量，这里采用本地配置文件映射的方式，storm.yaml配置如下: 

```

storm.zookeeper.servers:

  - "172.22.12.20"

  - "172.22.12.21"

  - "172.22.12.22"

nimbus.seeds:

  - "nimbus1"

  - "nimbus2"

  - "nimbus3"

storm.log.dir: "/logs"

storm.local.dir: "/data"

storm.cluster.mode: distributed

```

storm.zookeeper.servers为zookeeper地址，默认取端口2181。nimbus.seeds为nimbus集群地址，这里取docker-compose中自定义的hostname。 

3. storm-ui启动单例即可，docker-compose配置如下： 

```

  storm-ui:

    image: storm:2.2.0

    container_name: storm-ui

    command: storm ui

    depends_on:

      - nimbus

    links:

      - nimbus:nimbus

    restart: always

    ports:

      - 8080:8080

    volumes:

      - "./storm.yaml:/conf/storm.yaml"

      - "./ui/data:/data"

      - "./ui/logs:/logs"

    extra_hosts:

      - "nimbus1:172.22.12.20"

      - "nimbus2:172.22.12.21"

      - "nimbus3:172.22.12.22"

      - "supervisor1:172.22.12.20"

      - "supervisor2:172.22.12.21"

      - "supervisor3:172.22.12.22"

```

其中`extra_hosts`为容器启动后自定义的host映射，这样ui页面启动后才能通过注册上来的别名host对应到真正的ip地址。 

> 部署docker容器时经常会遇到需要映射宿主机的配置文件到容器里，这样容器重启后配置就不会重置。 

> 比如storm配置：- "./storm.yaml:/conf/storm.yaml"

> 但是映射后如果本地没有正确格式的storm.yaml就会启动失败，除了去官网下载安装包拿到其配置文件以外，可以先启动一个临时容器并拷贝其配置文件到宿主机。 

> docker run -d --name nimbus-tmp storm:2.2.0 storm nimbus 

> docker cp nimbus-tmp:/conf/storm.yaml 本地文件夹路径/   

## canal部署

canal部署前需要对其要连接的mysql做相应配置:

```

[mysqld]

log-bin=mysql-bin # 开启 binlog

binlog-format=ROW # 选择 ROW 模式

server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复 

```

canal的docker-compose配置如下： 

```

  canal-server:

    image: canal/canal-server:v1.1.3

    container_name: canal-server

    ports:

      - 11111:11111

    environment:

      - canal.instance.mysql.slaveId=12

      - canal.auto.scan=false

      - canal.destinations=datacloud

      - canal.instance.master.address=10.23.16.32:3307

      - canal.instance.dbUsername=root

      - canal.instance.dbPassword=chinaunicom@dengfy

      - canal.instance.filter.regex=river\\..*

    volumes:

      - ./canal-server/logs/:/admin/canal-server/logs/

```

其中`slaveId`需要和mysql中配置不同，`destinations`为自定义的实例名，`canal.instance.filter.regex`为需要监控的数据库表过滤。

## portainer部署

portainer时docker容器的可视化管理工具，可以管理上述的几台机器的docker容器，查看日志，修改启动脚本，停止容器等。   

首先要对每一台机器开启docker api接口: 

```

1.vim /usr/lib/systemd/system/docker.service   

在ExecStart启动项添加-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

2.重启docker服务 systemctl daemon-reload  systemctl restart docker 

```

在其中一台机器上部署portainer容器： 

```

  portainer:

    image: portainer/portainer:1.24.1

    restart: always

    container_name: portainer_datacloud

    ports:

      - "8000:8000"

      - "9002:9000"

    volumes:

      - "./portainer/data:/data"

      - "/var/run/docker.sock:/var/run/docker.sock"

```

"/var/run/docker.sock:/var/run/docker.sock" 此条映射关系是单机模式下使用，我们采用的是远程api调用，因此可以不加。 

打开ip:9002后，注册用户登录，settings>endpoints>Add endpoint>选择docker方式。   

其中Endpoint URL填写目标ip:2375,Public IP添加目标ip，提交后即可看到其所有容器信息。

©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,547评论 6赞 477
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,399评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,428评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,599评论 1赞 274
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,612评论 5赞 365
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,577评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,941评论 3赞 395
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,603评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,852评论 1赞 297
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,605评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,693评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,375评论 4赞 318
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,955评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,936评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,172评论 1赞 259
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 43,970评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,414评论 2赞 342