一、下载 kafka 二进制安装包
下载地址: http://kafka.apache.org/downloads
二、上传 kafka 压缩包到虚拟机中
可以安装 VMware tools ,然后手动拖到虚拟机中,安装方法参考下面博客:
也可以用 WinSCP 工具,或者直接在 Ubuntu 系统页面下载。
三、解压到 /usr/local/services 目录
tar -xzf kafka_2.11-1.1.0.tgz -C /usr/local/services/
四、启动 kafka 服务
kafka需要使用Zookeeper,首先需要启动Zookeeper服务,如果没有的话,可以使用kafka自带的脚本启动一个简单的单一节点Zookeeper实例:
bin/zookeeper-server-start.sh config/zookeeper.properties
如果已经启动了 zookeeper,则直接运行下面的命令:
bin/kafka-server-start.sh config/server.properties
停止 kafka 服务则运行下面命令:
bin/kafka-server-stop.sh config/server.properties
五、kafka 简单使用
5.1、创建一个主题
首先创建一个名为test的topic,只使用单个分区和一个复本
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
5.2、查看主题
现在可以运行list topic命令看到主题:
bin/kafka-topics.sh --list --zookeeper localhost:2181
5.3、发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
This is a message
This is another message
5.4、接收消息
启动一个消费者,消费者会接收到消息:
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning 2>/dev/null
六、使用 java kafka-client 遇到的问题
写kafka生产者生成数据的程序并运行时:
kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries