Window中搭建Kafka环境

前提：kafka运行需要有JDK+Zookeeper环境才能够使用，JDK和Zookeeper的安装和配置就不介绍了

kafka

Github地址：https://github.com/apache/kafka
官方网站：https://kafka.apache.org/
官方文档：http://kafka.apache.org/documentation.html
LinkedIn用Scala语言开发。高吞吐量高性能支持跨语言分布式Publish/Subscribe消息队列系统，而Jafka是在Kafka之上孵化而来的。快速持久化、高吞吐、完全的分布式系统、支持Hadoop数据并行加载。

下载kafka

1.下载地址：http://kafka.apache.org/downloads.html
官方推荐使用2.11版本

image.png

下载后解压缩
进入config目录，编辑 server.properties文件,
修改下kafka日志文件的路径

log.dirs=E:\\kafka\\kafka_2.11-2.0.1\\kafka-logs

这里是用于指定zookeeper的地址和端口号，可以根据实际情况做下修改

zookeeper.connect=localhost:2181

运行测试：

确保在启动Kafka服务器前，Zookeeper服务器已经正常运行
进入到kafka的根目录中，在cmd中输入
.\bin\windows\kafka-server-start.bat .\config\server.properties

如果出现报错：找不到或无法加载主类

解决方法
在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat为%CLASSPATH%加上双引号
修改前：setCOMMAND=%JAVA%%KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS% -cp%CLASSPATH% %KAFKA_OPTS% %*
修改后：SetCOMMAND=%JAVA%%KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS% -cp"%CLASSPATH%"%KAFKA_OPTS% %*

正常启动如图

image.png

可能会遇到的问题

1.启动kafka报`java.nio.file.FileSystemException`

java.nio.file.FileSystemException: 
E:\Kafka\kafka_2.12-2.1.0\kafka-logs\__consumer_offsets-33\00000000000000000000.timeindex.cleaned -> 
E:\Kafka\kafka_2.12-2.1.0\kafka-logs\__consumer_offsets-33\00000000000000000000.timeindex.swap: 
另一个程序正在使用此文件，进程无法访问。

解决方法：

kafka在windows平台就是有这个BUG，只能手动删除\kafka-logs里的日志文件重启kafka