用Eagle监控: ~SpringCloud Alibaba Nacos, 监控引擎、UI都做好了，不像Prometheus + Grafana那样需要自己手工搭建。也类似前端的Bootstrap框架了事不需要自己定制。
用法:
- 修改
kafka-server-start.sh,KAFKA_OPTS下暴露JMX端口, 类似导出到Prometheus(9090); -
kafka-eagle-bin-1.3.7.tar.gz解压; -
chmod +x ke.sh, 修改配置文件 - 添加环境变量:
export KE_HOME = /opt/module/eagle
export PATH = $PATH:$KE_HOME/bin
- 启动
bin/ke.sh start(首先zk, kafka); 访问http://localhost:8048/ke (8048: eagle d)
好处是监控UI和其中的metrics都出来了，但是也有不足:
- 没有prometheus那么全面，metrics少很多，prometheus可以全部抓取(brokers + producer + consumer)
- 实时监控的效果明显不如prometheus，默认是1分钟更新一次，但是明显频率过低。
一些Kafka相关的问题总结:
- Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么？
- Kafka中的HW、LEO等分别代表什么？
- Kafka中是怎么体现消息顺序性的？
- Kafka中的分区器、序列化器、拦截器是否了解？它们之间的处理顺序是什么？
- Kafka生产者客户端的整体结构是什么样子的？使用了几个线程来处理？分别是什么？
- “消费组中的消费者个数如果超过topic的分区，那么就会有消费者消费不到数据”这句话是否正确？
- 消费者提交消费位移时提交的是当前消费到的最新消息的offset还是offset+1？
是offset+1，因为进入zk发现最开始没有消息来的时候offset都是0 - 有哪些情形会造成重复消费?
不要答ACK相关的，因为那是从Producer角度答的，这是问consumer - 那些情景会造成消息漏消费？
8, 9其实问的是手动提交offset的分布式事务问题 - 当你使用kafka-topics.sh创建（删除）了一个topic之后，Kafka背后会执行什么逻辑？
- 会在zookeeper中的/brokers/topics节点下创建一个新的topic节点，如：/brokers/topics/first
- 触发Controller的监听程序
- kafka Controller 负责topic的创建工作，并更新metadata cache
- topic的分区数可不可以增加？如果可以怎么增加？如果不可以，那又是为什么？
可以 - topic的分区数可不可以减少？如果可以怎么减少？如果不可以，那又是为什么？
不可以 - Kafka有内部的topic吗？如果有是什么？有什么所用？
- Kafka分区分配的概念？
问的RoundRobin和Range - 简述Kafka的日志目录结构？
15, 16: 问的.log 和.index - 如果我指定了一个offset，Kafka Controller怎么查找到对应的消息？
- 聊一聊Kafka Controller的作用？
- Kafka中有那些地方需要选举？这些地方的选举策略又有哪些？
controller, leader两种不同的策略 - 失效副本是指什么？有那些应对措施？
ISR挂的 - Kafka的哪些设计让它有如此高的性能
