windows 下远程连接kafka服务器并创建topic 部署服务

一.打包项目镜像:

注意:每个链的代码不一样的,每次需要打包不同的基础镜像再开始部署,不然会报错!
     每次修改了代码也要重新打包build,才能将修改后的代码部署到服务器中的docker!

利用Dockerfile 来打包项目的镜像
本次项目共依赖两个镜像(一个基础系统环境和一个项目镜像)
本次直接将Dockerfile写好后,用shell脚本build.sh启动打包:

#../venv/bin/pip freeze > ../requirements.txt
docker build -f base/Dockerfile -t chain-monitor-base:latest ..
docker build -f Dockerfile -t chain-monitor:latest ..

然后切换到项目的目录下找到build.sh,运行即可打包项目镜像

cd  /home/lx/etc-chain-monitor/build
local:
cd  /d/Project/chain-monitor/build

若

sh build.sh

报错:"failed to dial gRPC: cannot connect to the Docker daemon. Is 'docker daemon' running on this host?: dial unix /var/run/docker.sock: connect: permission denied
"
就用

sudo sh build.sh

出现以下说明打包成功,接下来可以开始部署:

Successfully built 94ac11820611
Successfully tagged chain-monitor-base:latest
...

Step 4/4 : WORKDIR /code
 ---> Running in e540507d6fbd
Removing intermediate container e540507d6fbd
 ---> 91617eb1d0ed
Successfully built 91617eb1d0ed
Successfully tagged chain-monitor:latest

二.部署到阿里云服务器:

配置windows下的host:来远程新建Kafka服务器上的topic. 参考
本地kafka文件夹:

 D:\sotfwares\kafka\kafka_2.13-2.4.1\bin\windows>

https://jingyan.baidu.com/article/9113f81b49ed2f2b3214c7fa.html

cd C:\Windows\System32\drivers\etc
下的hosts文件添加服务器地址和别名

注意:如果遇到只读权限不能修改时,将host文件复制一份到桌面,修改后在替换原来的host文件
在hosts文件末尾加上kafka服务器< !外网! 39. 0.25...>地址,修改后的格式如下:
1.1注意: 修改阿里云服务器的hosts 文件来配置 kafka的服务器地址:

cd /
sudo vi /etc/hosts

在hosts 文件最后加入:

39.100.xxx.14    kafka-server
注释: kafka-server  为后面命令用到的代理名称

添加的 kafka-server 就是以下创建topic命令中的 kafka-server别名,

监听远程kafka:新建消费者:

 ./kafka-console-consumer.bat --bootstrap-server kafka-1:9092 --topic etc-block --from-beginning

远程创建topic的实例:

 ./kafka-topics.bat --create --topic etc-block-new1 --replication-factor 1 --partitions 1 --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092

查看远程已创建的topc:

 ./kafka-topics.bat --bootstrap-server kafka-1:9092,kafka-2:9092,kafka-3:9092 --list

本地:

远程修改后的kafka topic:

2.通过git Bash 切换到kafka客户端的bin目录:
桌面打开 gitBash,切换到本地kafka软件目录:

cd  /d/sotfwares/kafka/kafka_2.13-2.4.1/bin

这里一定要切换为windows

cd windows/

3.查看已经有的topic

./kafka-topics.bat --bootstrap-server kafka-server:9092 --list

kafka-server 是host配置的kafka服务器的!

image.png

远程创建新的topic:

./kafka-topics.bat --create --topic etc-block --replication-factor 1 --partitions 1 --bootstrap-server kafka-server:9092

--topic 指定topic名字
--replication-factor 指定副本数，因为我的是集群环境，这里副本数就为3
--partitions 指定分区数，这个参数需要根据broker数和数据量决定，正常情况下，每个broker上两个partition最好

注意:服务器部署时候一定要用内网172. .开头的,外部访问设为外网ip
不然会导致Kafka写入数据的时候报错 : TImeout

4.1本地docker创建topic：

先依次启动zk和kafka:
docker ps 
进入kafka 的docker 容器:
docker exec -ti  2b52342352cc   /bin/bash
创建topic:
kafka-topics.sh --create --topic ltc-block --replication-factor 1 --partitions 1 --bootstrap-server 192.168.99.100:9092
注释: 这里的192.168.99.100 是 windows下docker 的宿主机ip
查看topic:
 kafka-topics.sh --bootstrap-server 192.168.99.100:9092 --list

4.2 本地windows 创建topic
进入本地软件路径KAFKA/BIN/WIONDOWS
创建topic

cd .\windows\

.\kafka-topics.bat --create -zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic "test"

windows本地kafka创建topic

5.修改服务器的host:
一定要注意加sudo 不然会导致readonly 无法修改

sudo vim /etc/hosts

在host 文件的末尾加上以下:

172.26.11.177    kafka-server

6.切换到工程部署的目录

cd  home/lx/etc-chain-monitor/chain-monitor/deploy/etc

7.清理redis,不然数据有残留:
7.1服务器上的redis挂载清除:
在 docker-compose.yml中注销这几行: 目的是每次启动不必记录上次没有执行完的数据.

这个是用来记录redis中假如上次指定的是1到100万块,没有执行完.下次接着执行没执行完的任务,测试时暂时关闭

sudo docker volume ls                  查看volume有哪些

7.2删除volume:

sudo docker volume rm etc-chain-monitor_chain-monitor-redis-volume

7.3 如果volume文件被占用时,先删除占用容器:

sudo docker volume rm -f e522ff1c7881fb5394fb7bcec628bdc9afaeddadd43d02ba04c8a1822504b494

7.4 清除redis中的数据
进入redis容器中：

docker exec -it 6f34f5702ed1 /bin/bash

redis-cli    进入redis命令行

flushall     清除所有

如果报出“**NOAUTH Authentication required.**”错误，那么需要用密码授权
使用 auth [密码]     就可以继续操作了
exit                 退出redis客户端

image.png

8.部署命令:
8.1开启docker可视化web上监控docker:

docker run -d -p 9000:9000 -v /var/run/docker.sock:/var/run/docker.sock -v portainer_data:/Users/zj/Documents/data portainer/portainer

然后访问: http://39.100.48.41:9000
宿主机IP + 9000端口

8.2执行部署命令,启动服务:

sudo docker stack deploy -c docker-compose.yml etc-chain-monitor

9.部署时报错: yaml: line 46: did not find expected key
原因: docker-compose.yml文件中第46行报错

解决:将所有数据对齐,不要有多余的空格.