Confluent工具用于kafka监控

基于docker镜像搭建confluent运行环境

FROM confluentinc/cp-kafka-connect:5.2.1

ENV CONNECT_PLUGIN_PATH="/usr/share/java,/usr/share/confluent-hub-components"

RUN confluent-hub install --no-prompt confluentinc/kafka-connect-datagen:latest

基于上面的代码,制作yml文件,运行docker-compose up -d -build下载镜像、构建并启动相关容器

由于已经生成容器了,可运行如下的命令批量重启或停止:

批量重启

docker ps -a | grep confluentinc | awk -F' ' '{ print $1}' | xargs docker start

批量停止

docker ps -a | grep confluentinc | awk -F' ' '{ print $1}' | xargs docker stop

各组件端口默认映射关系

ZK

默认端口:2181,

启动命令:service zkcluster start (默认开机自启动)

Kafka

默认端口:9092,

配置文件:server.properties

启动命令:kafka-server-start /etc/kafka/schema-registryserver.properties

connect

默认端口:8083,

配置文件:connect-file-sink.properties、connect-file-source.properties、connect-standalone.properties

启动命令:./bin/connect-standalone.sh config/connect-standalone.properties \config/connect-file-source.properties config/connect-file-sink.properties

schema-registry

默认端口:8081,

配置文件:connect-avro-standalone.properties、schema-registry.properties

启动命令:schema-registry-start /etc/schema-registry/schema-registry.properties

kafka-rest

默认端口:8082,

配置文件:kafka-rest.properties

启动命令:kafka-rest-start /etc/kafka-rest/kafka-rest.properties

confluent-control-center

默认端口:9021,

配置文件:control-center.properties

启动命令:control-center-start /etc/confluent-control-center/control-center.properties

ksql

默认端口:8088,

启动命令:ksql-server-start ksql-server.properties

最终通过http://XXXXXX:9021 访问对应的kafka监控界面及ksql使用平台

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 搭建confluent运行环境 基于docker镜像,上面的内容制作yml文件,运行docker-compose ...
    佛系小懒阅读 1,084评论 0 2
  • Kafka Connect简介 Kafka Connect是Kafka的开源组件Confluent提供的功能,用于...
    佛系小懒阅读 2,691评论 0 2
  • 很多人都觉得自己挺爱学习的,我也这样觉得,可是好像一直没有成为高手。听了猫叔的分享,才知道原来自己和高手真的差了好...
    佳佳_c2e1阅读 290评论 0 0
  • 虚拟内存提升内存的容量,防止OOM(Out of Memory) -查看当前的交换分区 -增加交换分区基本分区,L...
    蕴重Liu阅读 296评论 0 0
  • 李先生是我第三份工作时的同事,职位是材料员,还有另一个身份--当时老板的表弟。 李先生是个敢说敢做的人。他对老板经...
    伍零角钢阅读 248评论 0 0

友情链接更多精彩内容