一、JMX_exporter监控
1,jar和配置文件下载:
https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.14.0/jmx_prometheus_javaagent-0.14.0.jar
https://github.com/prometheus/jmx_exporter/blob/master/example_configs/kafka-2_0_0.yml
2,在分别在kafka集群节点(假设节点为:192.168.0.1、192.168.0.2、192.168.0.3)的kafka-server-start.sh文件加入如下内容(jmx_prometheus_javaagent-0.14.0.jar和kafka-2_0_0.yml的路径根据实际情况修改):
export JMX_PORT="9999"
export KAFKA_OPTS="-javaagent:/usr/local/kafka/jmx/jmx_prometheus_javaagent-0.14.0.jar=9991:/usr/local/kafka/jmx/kafka-2_0_0.yml"
3,重启kafka
4,让prometheus节点能访问集群节点的9991端口,访问http://节点ip:9991/metrics 即可查看metrics(如:http://192.168.0.1:9991/metrics、http://192.168.0.2:9991/metrics、http://192.168.0.3:9991/metrics)
5,找到prometheus.yml,加入如下内容并重启prometheus:
- job_name: 'kafka'
static_configs:
- targets: ['192.168.0.1:9991','192.168.0.2:9991','192.168.0.3:9991']
6,打开http://xxx:9090/targets查看prometheus上是否有kafka的job并且状态为up。
7,打开Grafana界面,导入模板10973(或者导入其他已有模板)
二、kafka_exporter监控
1,jar下载
git项目地址:https://github.com/danielqsj/kafka_exporter
下载地址: https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz
2,执行命令:nohup ./kafka_exporter --kafka.server=kafkaIP或者域名:9092 &
(只需填写kafka集群的一个ip即可)
3,访问http://jar包执行的那台ip或者域名:9308/metrics
4,找到prometheus.yml,加入如下内容并重启prometheus:
- job_name: 'kafka_exporter'
static_configs:
- targets: ['jar包执行的那台ip或者域名:9308']
5,打开http://xxx:9090/targets查看prometheus上是否有kafka的job并且状态为up,如下图:
6,打开Grafana界面,导入模板7589(或者导入其他已有模板)