kafka消费异常

现象
kafka能正常写入数据,但是无法消费到数据,无论是console还是代码都不行,不论是zk消费方式还是bootstrap-server方式都不行

处理思路
1.kafka能生产数据,那么说明网络是正常无异常
2.无法消费数据,那么说明是kafka自身可能存在问题

处理方法简介
1.查看所有主题分片信息是否正常

kafka-topics.sh  --zookeeper localhost:2181 --describe  --topic  topicName
#--topic参数指定某一个主题,不加就默认罗列所有主题信息
#此处罗列出来的分片信息可以看到leader在哪一个node上,如果出现leader:-1则就是对应的topic不能实现均衡负载了

2.查看meta信息是否正常

recovery-point-offset-checkpoint
replication-offset-checkpoint
到kafka的后台,查看以上两个配置文件是否可阅读,非乱码,如果是乱码,则会影响到所有topic无法消费
上面第一种情况中,出现leader找不到问题,只会影响到单个topic的读问题
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容