docker 可视化打包部署启动服务扩容\删除服务

一.打包项目镜像:

利用Dockerfile 来打包项目的镜像
本次项目共依赖两个镜像(一个基础系统环境和一个项目镜像)
本次直接将Dockerfile写好后,用shell脚本build.sh启动打包:

#../venv/bin/pip freeze > ../requirements.txt
docker build -f base/Dockerfile -t chain-monitor-base:latest ..
docker build -f Dockerfile -t chain-monitor:latest ..

然后切换到项目的目录下找到build.sh,运行即可打包项目镜像

cd  /d/Project/chain-monitor/build

sh build.sh

出现以下说明打包成功,接下来可以开始部署:

Successfully built 94ac11820611
Successfully tagged chain-monitor-base:latest
...

Step 4/4 : WORKDIR /code
 ---> Running in e540507d6fbd
Removing intermediate container e540507d6fbd
 ---> 91617eb1d0ed
Successfully built 91617eb1d0ed
Successfully tagged chain-monitor:latest

二.部署启动程序:

0.先依次docker 安装需要的数据库redis / kafka / mongo:

docker search / pull    redis  /  kafka  /   mongo

1.开启docker可视化 portainer 容器,方便在浏览器上管理docker镜像和容器
参考:https://www.cnblogs.com/williamjie/p/11315458.html
然后访问: http://192.168.99.100:9000
宿主机IP + 9000端口

docker run -d -p 9000:9000 -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/Users/zj/Documents/data portainer/portainer

2.开启mongoDB容器

参考：
https://cloud.tencent.com/developer/article/1394986

docker run -p 27017:27017 --name=mongodb4 -v /tmp/mongodb:/data/db -d mongo:4.0.8

2.2 开启docker mongoDB 的可视化镜像:Mongo Express
参考:

docker ps

这里需要先docker ps 查看正在运行的mongoDB的容器ID -- YOUR_MONGODB_CONTAINER

docker run -itd -p 8081:8081 --link YOUR_MONGODB_CONTAINER:mongo mongo express

访问: http://192.168.99.100:8081
宿主机IP + 8081端口

3.开启redis容器

docker run -v /home/java/dev_env/redis/conf/redis.conf:/usr/local/etc/redis/redis.conf --name redis-latest -p 6379:6379 -d redis redis-server /usr/local/etc/redis/redis.conf

3.2.docker 搭建redis可视化工具treenms

docker run -d -p 8085:8080 --name treenms  -v /etc/localtime:/etc/localtime --restart=always  fuyong/treenms

访问 <ip> :8085 -- http://192.168.99.100:8085/
默认用户名：treesoft，密码：treesoft ,用户:admin，密码：treesoft
原文链接：https://blog.csdn.net/whh18254122507/article/details/86598103

4.开启kafka容器
4.1.docker安装kafka:[https://www.cnblogs.com/yxlblogs/p/10115672.html]
4.2. kafka创建topic: [https://www.cnblogs.com/cici20166/p/9426417.html]

1、下载镜像
这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像

docker pull wurstmeister/zookeeper
docker pull wurstmeister/kafka

在命令中运行docker images验证两个镜像已经安装完毕

2.启动
启动zookeeper容器:

docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper

启动kafka容器:
线上：

docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=192.168.99.100 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

localdocker：

sudo docker run -d --name kafka --publish 9092:9092 --link zookeeper --env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 --env KAFKA_ADVERTISED_HOST_NAME=39.100.48.41 --env KAFKA_ADVERTISED_PORT=9092 --volume /etc/localtime:/etc/localtime wurstmeister/kafka:latest

192.168.59.101 改为宿主机器的IP地址，如果不这么设置，可能会导致在别的机器上访问不到kafka。

测试kafka
进入kafka容器的命令行
运行 docker ps，找到kafka的 CONTAINER ID，运行

docker exec -ti  kafka-id  /bin/bash

1.zkServer    打开zookeeper
2. 开启kafka:      .\bin\windows\kafka-server-start.bat .\config\server.properties
3.消费者:     .\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test2020 --from-beginning
4.生产者:  .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
5. 关闭zookeeper: 进入文件夹bin,   .\zkServer.sh stop
6. 关闭 kafka: 进去kafka文件  bin\kafka-server-stop.sh
注意:先要打开zk和kafka才能创建topic
7.创建topic:    .\bin\windows\kafka-topics.bat --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic "test2020"
8.查看topic:    .\bin\windows\kafka-topics.bat --zookeeper localhost:2181 --list

创建topic命令:

bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181

--topic 指定topic名字
--replication-factor 指定副本数，因为我的是集群环境，这里副本数就为3
--partitions 指定分区数，这个参数需要根据broker数和数据量决定，正常情况下，每个broker上两个partition最好

查看有哪些topic：

bin/kafka-topics.sh --list --zookeeper localhost:2181

查看具体的topic详细信息：

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe

后面不再赘述，可参考前一篇文章https://blog.csdn.net/lblblblblzdx/article/details/80548157
4. 集群搭建
使用docker命令可快速在同一台机器搭建多个kafka，只需要改变brokerId和端口

docker run -d --name kafka1 \
-p 9093:9093 \
-e KAFKA_BROKER_ID=1 \
-e KAFKA_ZOOKEEPER_CONNECT=192.168.204.128:2181 \
-e KAFKA_ADVERTISED_LISTENERS=PLAINTEXT://192.168.204.128:9093 \
-e KAFKA_LISTENERS=PLAINTEXT://0.0.0.0:9093 -t wurstmeister/kafka

5. 创建Replication为2，Partition为2的topic
在kafka容器中的opt/kafka_2.12-1.1.0/目录下输入

bin/kafka-topics.sh --create --zookeeper 192.168.204.128:2181 --replication-factor 2 --partitions 2 --topic partopic

6. 查看topic的状态
在kafka容器中的opt/kafka_2.12-1.1.0/目录下输入

bin/kafka-topics.sh --describe --zookeeper 192.168.204.128:2181 --topic partopic

输出结果：

Topic:partopic  PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: partopic Partition: 0    Leader: 0   Replicas: 0,1   Isr: 0,1
    Topic: partopic Partition: 1    Leader: 0   Replicas: 1,0   Isr: 0,1
显示每个分区的Leader机器为broker0，在broker0和1上具有备份，Isr代表存活的备份机器中存活的。
当停掉kafka1后，

docker stop kafka1
再查看topic状态，输出结果：
Topic:partopic  PartitionCount:2    ReplicationFactor:2 Configs:
    Topic: partopic Partition: 0    Leader: 0   Replicas: 0,1   Isr: 0
    Topic: partopic Partition: 1    Leader: 0   Replicas: 1,0   Isr: 0

进入kafka容器。
进入kafka默认目录 /opt/kafka_2.11-0.10.1.0
使用docker安装kafka:
参考地址：https://blog.csdn.net/lblblblblzdx/article/details/80548294

5.开始部署:
切换到项目的 docker-compose.yml 文件目录下

cd  /d/chain_monitor/chain-monitor/deploy/etc

cd  /d/Project/chain-monitor/deploy/etc

docker stack deploy -c docker-compose.yml chain-monitor-etc

docker stack deploy -c docker-compose.yml  xxx(自己取一个服务名)

docker 扩容 (相当于开启了多进程,但是保证数据的一致性,就必须从redis中取数据)

sudo docker service scale etc-history_history=10

/backup/etc/Chain-Storage/deploy/etc

删除docker service

sudo docker service rm v0wzfnu03uho a0r2omweds95

8.查看已有哪些服务

sudo docker service ls

docker 可视化打包部署启动服务 扩容\删除服务

docker 可视化打包部署启动服务扩容\删除服务