环境要求
JDK 1.7+
Zookeeper
下载Kafka源码
解压到任意目录
$ tar -xzf kafka_2.9.2-0.8.1.1.tgz
$ cd kafka_2.9.2-0.8.1.1
Kafka目录介绍
/bin 操作kafka的可执行脚本,还包含windows下脚本
/config 配置文件所在目录
/libs 依赖库目录
/logs 日志数据目录,目录kafka把server端日志分为5种类型,分为:server,request,state,log-cleaner,controller
配置zookeeper
进入kafka安装工程根目录编辑config/server.properties,kafka最为重要的配置依次为:broker.id、log.dir、zookeeper.connect,每个kafka broker中配置文件server.properties默认必须配置的属性:
broker.id=0
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181
num.network.threads=2
num.io.threads=8
socket.send.buffer.bytes=1048576
socket.receive.buffer.bytes=1048576
socket.request.max.bytes=104857600
num.partitions=2
log.retention.hours=168
log.segment.bytes=536870912
log.retention.check.interval.ms=60000
log.cleaner.enable=false
zookeeper.connection.timeout.ms=1000000
broker.id为集群中唯一的标注一个节点,如果在同一个机器上,必须指定不同的端口和日志文件,避免数据被覆盖。
启动Kafka
$ bin/kafka-server-start.sh config/server.properties &
检测2181(Zookeeper端口)与9092(Kafka端口)端口
$ lsof -i :2180
安装测试
创建 topic
$ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
发送消息,使用一个简单的命令行producer,从文件中或者从标准输入中读取消息并发送到服务端
$ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
> This is a message
ctrl+c可以退出发送,topic不存在会自动创建
运行consumer,可以看到刚才发送的消息列表。
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning