kafka的使用(单节点多broker)

未安装kafka的请先看https://www.jianshu.com/p/2ec901ebf6b4

官网介绍

#复制配置文件
> cp config/server.properties config/server-1.properties
> cp config/server.properties config/server-2.properties

#修改配置文件中的信息
`config/server-1.properties:`
`broker.id=1`
`listeners=[PLAINTEXT://:9093](plaintext://:9093)`
`log.dirs=/tmp/kafka-logs-1`

`config/server-2.properties:`
`broker.id=2`
`listeners=[PLAINTEXT://:9094](plaintext://:9094)`
`log.dirs=/tmp/kafka-logs-2`

#启动kafka
> bin/kafka-server-start.sh config/server-1.properties &
...
> bin/kafka-server-start.sh config/server-2.properties &
...

#创建kafka topic
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic

#查看kafka topic
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
    Topic: my-replicated-topic  Partition: 0    Leader: 1   Replicas: 1,2,0 Isr: 1,2,0

#启动生产者
#--broker-list:应当把所有kafka都配置进去
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

#启动消费者
> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic

我的实现

#生成配置文件
cp $KAFKA_HOME/config/server.properties  $KAFKA_HOME/config/server-1.properties
cp $KAFKA_HOME/config/server.properties  $KAFKA_HOME/config/server-2.properties
cp $KAFKA_HOME/config/server.properties  $KAFKA_HOME/config/server-3.properties

#修改以下配置文件
#server-1.properties
broker.id=1
listeners=PLAINTEXT://:9093
log.dirs=/Users/david/Cores/apache-flume-1.6.0-cdh5.7.0-bin/logs-1

#server-1.properties
broker.id=2
listeners=PLAINTEXT://:9094
log.dirs=/Users/david/Cores/apache-flume-1.6.0-cdh5.7.0-bin/logs-2

#server-3.properties
broker.id=3
listeners=PLAINTEXT://:9095
log.dirs=/Users/david/Cores/apache-flume-1.6.0-cdh5.7.0-bin/logs-3

#启动zookeeper
cd $ZK_HOME/bin
./zkServer.sh start
#启动kafka
cd $KAFKA_HOME/bin
 ./kafka-server-start.sh -daemon  $KAFKA_HOME/config/server-1.properties &
 ./kafka-server-start.sh -daemon  $KAFKA_HOME/config/server-2.properties &
 ./kafka-server-start.sh -daemon  $KAFKA_HOME/config/server-3.properties &

#启动生产者
./kafka-console-producer.sh --broker-list localhost:9093,localhost:9094,localhost:9095 --topic my-replicated-topic
#启动消费者
./kafka-console-consumer.sh --zookeeper localhost:2181  --topic my-replicated-topic

关闭kafka

./kafka-server-stop.sh   $KAFKA_HOME/config/server-1.properties 
./kafka-server-stop.sh   $KAFKA_HOME/config/server-2.properties 
./kafka-server-stop.sh   $KAFKA_HOME/config/server-3.properties 
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,761评论 6 427
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 176,535评论 25 709
  • 用两张图告诉你,为什么你的 App 会卡顿? - Android - 掘金 Cover 有什么料? 从这篇文章中你...
    hw1212阅读 14,519评论 2 59
  • 1 当地有一荒废许久的隧道,传闻那里有鬼怪出没。 一天,三名女生决定穿越隧道,进行试胆比赛。 三人一进入隧道,四周...
    坂本龙一阅读 3,978评论 0 0
  • -“我自己一个人过。” -“自己一个人怎么过啊?你长大以后也要开始社会生活,那就得一起吃饭啊,妈妈不能照顾你到你变...
    五月成长笔记阅读 1,378评论 0 1

友情链接更多精彩内容