Kafka 集群安装 & Kafkamanager 查看

为了连接strom和flink的的使用,选择了0.10.2.2版本的kafka。

一、下载,解压

地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.2/kafka_2.12-0.10.2.2.tgz

解压指令:tar -zxvf kafka_2.10-0.8.2.2.tgz

二、修改配置

cd kafka_2.12-0.10.2.2/config/
vi server.propertie
mkdir /data/kafka-logs  #在需要的地方新建log文件夹

下面是要修改的几个位置

broker.id=1  #每个机器的ID都应该不同
delete.topic.enable=true #使用指令删除topic的时候直接删除
log.dirs=/home/xxxx/data/kafka-logs #log日记保存的地址
listeners=PLAINTEXT://XXXXX:9092  #XXX是每个机子的IP地址
zookeeper.connect=127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002 #zookeeper的集群,格式Ip1:端口1,Ip2:端口2,······地址一般端口是2181

注意每个机器的配置文件都要修改,id和listeners的IP地址各不相同

三、启动kafka

./kafka_2.12-1.1.0/bin
./kafka-server-start.sh -daemon ../config/server.properties

使用jps查看启动情况

21380 Kafka
20316 QuorumPeerMain
23069 Jps

注意:QuorumPeerMain是zookeeper的进程,在启动kafka前需要先启动zookeeper

四、配置kafkamanager

在解压后的conf目录中打开 application.conf文件,修改其中的配置信息,最主要的内容为:

kafka-manager.zkhosts="10.11.6.52:2181,10.11.6.53:2181,10.11.6.54:2181"  #修改成自己的zookeeper集群地址

启动kafkamanager

nohup ./kafka-manager &
jps查看启动情况
26076 ProdServerStart

浏览器输入:启动机器IP:9000,如10.11.6.52:9000

配置集群

点击【Cluster】>【Add Cluster】打开如下添加集群的配置界面:
创建集群
  1. 填写集群名称
  2. 填写zookeeper集群地址
  3. 选择kafka版本

注意如果没有在 Kafka 中配置过 JMX_PORT,千万不要选择第一个复选框Enable JMX Polling

如下配置修改bin/kafka-server-start.sh,添加JMX_PORT参数,添加后样子如下

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT="9999"  #加入这条
fi

从Brokers中可以查看启动的kafka数目是否正常


Brokers信息

还可以直接在网页中创建topic等操作,查看broker的消费信息。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 136,092评论 19 139
  • 一、入门1、简介Kafka is a distributed,partitioned,replicated com...
    HxLiang阅读 8,916评论 0 9
  • 姓名:周小蓬 16019110037 转载自:http://blog.csdn.net/YChenFeng/art...
    aeytifiw阅读 34,823评论 13 425
  • 我看过马路改革 水泥皆翻 我看过湖泊河流 泥沙皆干 我看过人情世故 容颜皆改 我看过世态炎凉 万物皆毁 我未曾爱这...
    山寸林夕阅读 1,198评论 0 0
  • 【用心生活,顺手拍美】——我是朱子先生。 2018,我将会继续分享摄影技巧,想学习更多摄影知识,想看更多美图,就来...
    朱子先生的摄影思维阅读 1,787评论 1 2

友情链接更多精彩内容