前提:kafka运行需要有JDK+Zookeeper环境才能够使用,JDK和Zookeeper的安装和配置就不介绍了
kafka
Github地址:https://github.com/apache/kafka
官方网站:https://kafka.apache.org/
官方文档:http://kafka.apache.org/documentation.html
LinkedIn用Scala
语言开发。高吞吐量高性能支持跨语言分布式Publish/Subscribe
消息队列系统,而Jafka
是在Kafka
之上孵化而来的。快速持久化、高吞吐、完全的分布式系统、支持Hadoop
数据并行加载。
下载kafka
1.下载地址:http://kafka.apache.org/downloads.html
官方推荐使用2.11
版本
下载后解压缩
进入config
目录,编辑 server.properties
文件,
修改下kafka
日志文件的路径
log.dirs=E:\\kafka\\kafka_2.11-2.0.1\\kafka-logs
这里是用于指定zookeeper
的地址和端口号,可以根据实际情况做下修改
zookeeper.connect=localhost:2181
运行测试:
确保在启动Kafka
服务器前,Zookeeper
服务器已经正常运行
进入到kafka的根目录中,在cmd中输入
.\bin\windows\kafka-server-start.bat .\config\server.properties
如果出现报错:找不到或无法加载主类
解决方法
在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat
为%CLASSPATH%
加上双引号
修改前:setCOMMAND=%JAVA%%KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS% -cp%CLASSPATH% %KAFKA_OPTS% %*
修改后:SetCOMMAND=%JAVA%%KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS%%KAFKA_LOG4J_OPTS% -cp"%CLASSPATH%"%KAFKA_OPTS% %*
正常启动如图
可能会遇到的问题
1.启动kafka报java.nio.file.FileSystemException
java.nio.file.FileSystemException:
E:\Kafka\kafka_2.12-2.1.0\kafka-logs\__consumer_offsets-33\00000000000000000000.timeindex.cleaned ->
E:\Kafka\kafka_2.12-2.1.0\kafka-logs\__consumer_offsets-33\00000000000000000000.timeindex.swap:
另一个程序正在使用此文件,进程无法访问。
解决方法:
kafka在windows平台就是有这个BUG,只能手动删除\kafka-logs
里的日志文件重启kafka