三、Kafaka的基本操作

在启动Kafka之前,需要启动zookeeper,否则会报错!相关的启动指令如下:

  • 启动zookeeper:bin/zookeeper-server-start.sh config/zookeeper.properties
  • 启动kafka:bin/kafka-server-start.sh config/server.properties
  • 停止kafka:bin/kafka-server-stop.sh config/server.properties

1、单节点 - 单代理配置

在此配置中,只有一个 ZooKeeper 和代理 id 实例。 配置步骤如下:(注意,以下过程中的topicName表示创建主题的名称,可以自己定义。)
(1)创建Kafka主题
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic topicName
创建主题后,会在 Kafka 代理终端窗口中获取通知,并在 config / server.properties 文件中的“/ tmp / kafka-logs /"中指定创建主题的日志。
(2)启动生产者以发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topicName
生产者命令行客户端需要两个主要参数:
1.代理列表(broker-list): 要发送邮件的代理列表。 这种情况下,只有一个代理。
2.监听端口: Config / server.properties 文件包含代理端口 ID,可以查到代理正在侦听端口 9092,因此直接指定它。
生产者在 config / producer.properties 文件中指定默认生产者属性。
(3)启动消费者以接收消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topicName --from-beginning
消费者在config / consumer.properties 文件中指定了默认消费者属性。 打开一个新终端并键入以下消息消息语法。
(4)在生产者终端输入数据测试
生产者将等待消息的输入并发布到 Kafka 集群。 默认情况下,每行数据都作为新消息发布。在生产者终端输入数据,这些数据都会在消费者终端显示。

相关指令:

  • 查询topic列表:bin/kafka-topics.sh --list --zookeeper localhost:2181
  • 查看topic信息:bin/kafka-topics.sh --zookeeper localhost:2181 --describe --topic topicName
  • 删除topic:bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic topicName
  • 查看所有消费者组:bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
  • 查看对应消费者组的消费情况:bin/kafka-consumer-groups.sh --describe --bootstrap-server localhost:9092 --group groupName
  • 查看kafka生产最大位置偏移量:bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic topicName --time -1
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容