windows 环境下 Zookeeper & Kafka 配置启动
场景:因网络原因,开发环境下调用服务器上的 zk 和 kafka,经常掉线,无奈只好自己本地(Windows环境)搭一套相关环境...
现将步骤记录如下:
******************************************** 配置 **********************************************
0、将 Zookeeper 和 Kafka 放置 D:\AIDev 路径下解压;如下图所示
1、设置Zookeeper 相关配置
1. 在zookeeper-3.4.11 创建 snapshot文件夹 (空的即可)
2.到 zookeeper-3.4.11\conf 下 复制 zoo_sample.cfg 并更名为 zoo.cfg
dataDir=/tmp/zookeeper改为dataDir=D:/WorkShoft/zookeeper-3.4.11/snapshot
2、设置 Kafka 相关配置
1.kafka_2.10-0.8.2.2\config
a) server.properties
i. 修改日志输出目录log.dirs=/tmp/kafka-logs
改为 log.dirs=D:/WorkShoft/kafka_2.10-0.8.2.2/kafka-logs
ii. 端口port=9092 有必要的话 进行修改
iii. 链接的zk 地址和端口 zookeeper.connect=localhost:2181
与zk中端口配置要一致
b) consumer.properties
zookeeper.connect=127.0.0.1:2181 zk地址 和端口 有必要的话 进行修改
c) producer.properties
metadata.broker.list=localhost:9092 kafka 地址和端口 有必要的话进行修改
d) zookeeper.properties
dataDir=/tmp/zookeeper 改为 dataDir=D:/WorkShoft/zookeeper-3.4.11/snapshot
******************************************** 启动 **********************************************
1、启动zk,进入zookeeper 下 bin 路径下,依次启动zkServer.bat、zkCli.bat
2、启动Kafka,进入D:\AI\kafka_2.10-0.8.2.2,按下Shift+右键,选择“打开命令窗口”选项,打开命令行,输入:
.\bin\windows\kafka-server-start.bat .\config\server.properties
注意:启用kafka前请确保zooKeeper实例已经准备好并开始运行(不要关闭这个命令窗口)
-----------------分割线-------------------
3、测试kafka:创建主题topic,
进入D:\AI\kafka_2.10-0.8.2.2,按下Shift+右键,选择“打开命令窗口”选项,打开命令行,输入:
.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
4、查看主题,进入D:\AI\kafka_2.10-0.8.2.2,按下Shift+右键,选择“打开命令窗口”选项,打开命令行,输入:
.\bin\windows\kafka-topics.bat --list --zookeeper localhost:2181
5、创建生产者,进入D:\AIkafka_2.10-0.8.2.2,
按下Shift+右键,选择“打开命令窗口”选项,打开命令行,输入
.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
注意:不要关闭窗口
6、创建消费者,进入D:\AI\kafka_2.10-0.8.2.2,
按下Shift+右键,选择“打开命令窗口”选项,打开命令行,输入
.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test --from-beginning
--------------------------------
ps:1、依个人经验,启动zk时好像只启动zkServer.bat即可;
2、启动kafka时,可在kafka根目录下新建一bat文件,文件名可取kafka-start即可(便于理解记忆),文件中写入“.\bin\windows\kafka-server-start.bat .\config\server.properties”,而后启动kafka时,直接双击此bat文件即可;
我的做法是:将zkServer.bat 和 kafka-start.bat 同时创建了桌面快捷方式,启动时直接在桌面双击即可。