验证kafka消费堆积

验证kafka消费堆积

1. step1：
   消费者一 属于group1
   bin/kafka-console-consumer.sh --bootstrap-server 192.168.20.100:9092 --topic osmessage --consumer-property group.id=test_group1
   消费者二 属于group2
   bin/kafka-console-consumer.sh --bootstrap-server 192.168.20.100:9092 --topic osmessage --consumer-property group.id=test_group2
   同时启动两个消费者

执行命令查看：
[root@localhost kafka_2.5.0]# ./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.20.100:9092 --all-topics --list
test_group1
test_group2

2. step2：
   生产者发送一条消息到kafka
   2个消费者都正常消费消息:

   
   
   image.png
   
   

   2个生产者能正常消费消息，此时停了2个消费者，生产者又发送了2条消息到kafka

3. step3:
   观察消息堆积情况

[root@localhost kafka_2.5.0]# ./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.20.100:9092 --group test_group1 --describe
Consumer group 'test_group1' has no active members.
GROUP           TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID     HOST            CLIENT-ID
test_group1     osmessage       0          33              35              2               -               -               -

可以发现一家堆积了2条消息

4. step4:
   启动2个消费者，测试能不能正常按照上次的offerset消费
   启动消费者：

   
   
   image.png
   
   

   继续消费未消费的消息

再次查看堆积情况，一切正常，验证结束
[root@localhost kafka_2.5.0]# ./bin/kafka-consumer-groups.sh --bootstrap-server 192.168.20.100:9092 --group test_group1 --describe
GROUP           TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                                 HOST            CLIENT-ID
test_group1     osmessage       0          35              35              0               consumer-test_group1-1-1b190602-9d57-4b07-92a4-36c9ba2ec059 /192.168.20.100 consumer-test_group1-1