概述
prometheus所有scrape的目标需要通过配置文件(比如promethues.yml)告知prometheus，需要解决每次都去修改配置文件然后再通知prometheus重新加载的问题。因此，服务发现(service discovery)就是为了解决此类需求出现的，prometheus能够主动感知系统增加、删除、更新的服务，然后自动将目标加入到监控队列中。
一、基于文件的服务发现
JSON格式文件的服务发现：
[root@localhost ~]# cd /usr/local/prometheus/
[root@localhost prometheus]# mkdir targets
[root@localhost prometheus]# cat targets/dev_node.json
[
{
"targets": [ "192.168.1.5:9090","127.0.0.1:9090" ],
"labels": {
"env": "dev_webgame"
}
}
]
[root@localhost prometheus]# cat prometheus.yml
- job_name: 'node_service_discovery'
file_sd_configs:
- files:
- targets/*.json
refresh_interval: 60m
[root@localhost prometheus]# systemctl restart prometheus
配置文件说明：
file_sd_configs，指定prometheus基于文件的服务发现配置使用的选项
files，自定义的和prometheus程序同级目录的targets目录，要被自动加载的所有.json格式的文件。当然也可以单独指定某一个JSON格式的文件。
refresh_interval: 60m，自定义刷新间隔时间为60秒
YAML格式文件的服务发现
[root@localhost prometheus]# cat targets/dev_node.yaml
- targets:
- "192.168.1.30:9100"
[root@localhost prometheus]# cat prometheus.yml
- job_name: 'node_service_discovery'
file_sd_configs:
- files:
- targets/*.json
refresh_interval: 60m
- files:
- targets/*.yaml
refresh_interval: 60m
[root@localhost prometheus]# systemctl restart prometheus
二、基于consul的服务发现
1）安装consul
[root@localhost opt]# ll consul_1.7.3_linux_amd64.zip
-rw-r--r--. 1 root root 39717645 May 19 03:50 consul_1.7.3_linux_amd64.zip
[root@localhost opt]# mkdir /usr/local/consul
[root@localhost opt]# unzip consul_1.7.3_linux_amd64.zip -d /usr/local/consul/
2）启动consul
Consul必须启动agent才可使用，它是运行在Consul集群中每个成员上的守护进程，该进程负责维护集群中成员信息、注册服务、查询响应、运行检查等功能。Agent指令是Consul的核心，可以运行为Server或Client模式，操作如下：
[root@localhost ~]# cd /usr/local/consul/
[root@localhost consul]# ./consul agent -dev
==> Starting Consul agent...
Version: 'v1.7.3'
Node ID: '950de751-f475-f7b4-cc8e-624ef85be6e3'
Node name: 'localhost.localdomain'
Datacenter: 'dc1' (Segment: '<all>')
Server: true (Bootstrap: false)
Client Addr: [127.0.0.1] (HTTP: 8500, HTTPS: -1, gRPC: 8502, DNS: 8600)
Cluster Addr: 127.0.0.1 (LAN: 8301, WAN: 8302)
Encrypt: Gossip: false, TLS-Outgoing: false, TLS-Incoming: false, Auto-Encrypt-TLS: false
3）服务注册发现
Consul服务注册提供了两种注册方法：一种是定义配置文件服务注册方法，即在配置文件中定义服务来进行注册；一种是HTTP API服务注册方法，即在启动后有服务自身通过调用API进行自我注册。
方法一：将本地运行的node_exporter通过服务的方式进行Consul服务注册。
[root@localhost consul]# mkdir -p /usr/local/consul/consul.d
[root@localhost consul]# cd /usr/local/consul/consul.d/
[root@localhost consul.d]# cat node_exporter.json
{
"service": {
"id": "node_exporter",
"name": "node_exporter",
"tags": [
"dev_games"
],
"address": "127.0.0.1",
"port": 9100
}
}
配置文件说明：
id：服务ID，可选提供项。若提供，则将其设置为name一致
name：服务名称，必须提供项。要求每个节点上的所有服务都有唯一的ID。
tags：服务的标签，自定义的可选提供项，用于区分主节点和辅助节点。
address：地址字段，用于指定特定于服务的IP地址。默认情况下，使用agent的IP地址，因而不需要提供这个地址。可以理解为服务注册到Consul使用的IP，服务发现是发现的此IP地址。
port：可以简单理解为服务注册到Consul使用的端口，服务发现也是发现address对应的端口。
编辑完配置文件后，若是首次创建使用，需要重新启动Consul服务进行加载生效。Ctrl+c停掉终端已经启动的开发者模式consul agent服务，之后再重新启动Consul服务：
[root@localhost consul]# ./consul agent -dev -config-dir=/usr/local/consul/consul.d
4）服务注册成功后，我们可以通过HTTP API和DNS两种方式进行服务发现。
通过HTTP API的方式在Consul主机中获取服务列表，操作如下：
[root@localhost ~]# curl http://localhost:8500/v1/catalog/service/node_exporter
[
{
"ID": "2d4c5e66-f00b-2ac9-0391-146993c69f0b",
"Node": "localhost.localdomain",
"Address": "127.0.0.1",
"Datacenter": "dc1",
"TaggedAddresses": {
"lan": "127.0.0.1",
"lan_ipv4": "127.0.0.1",
"wan": "127.0.0.1",
"wan_ipv4": "127.0.0.1"
},
"NodeMeta": {
"consul-network-segment": ""
},
"ServiceKind": "",
"ServiceID": "node_exporter",
"ServiceName": "node_exporter",
"ServiceTags": [
"dev_games"
],
"ServiceAddress": "192.168.1.20",
"ServiceTaggedAddresses": {
"lan_ipv4": {
"Address": "192.168.1.20",
"Port": 9100
},
"wan_ipv4": {
"Address": "192.168.1.20",
"Port": 9100
}
},
"ServiceWeights": {
"Passing": 1,
"Warning": 1
},
"ServiceMeta": {},
"ServicePort": 9100,
"ServiceEnableTagOverride": false,
"ServiceProxy": {
"MeshGateway": {},
"Expose": {}
},
"ServiceConnect": {},
"CreateIndex": 12,
"ModifyIndex": 12
}
]
使用Consul提供的内置DNS服务访问当前集群中的节点信息，操作如下：（如果没有dig需要安装bind-utils）
[root@localhost consul.d]# dig @127.0.0.1 -p 8600 node_exporter.service.consul
; <<>> DiG 9.11.4-P2-RedHat-9.11.4-16.P2.el7_8.3 <<>> @127.0.0.1 -p 8600 node_exporter.service.consul
; (1 server found)
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 11982
;; flags: qr aa rd; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 1
;; WARNING: recursion requested but not available
;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;node_exporter.service.consul. IN A
;; ANSWER SECTION:
node_exporter.service.consul. 0 IN A 127.0.0.1
;; Query time: 33 msec
;; SERVER: 127.0.0.1#8600(127.0.0.1)
;; WHEN: Tue May 19 20:36:22 EDT 2020
;; MSG SIZE rcvd: 73
5）与prometheus集成
[root@localhost prometheus]# cat prometheus.yml
- job_name: 'consul_sd_node_exporter'
scheme: http
consul_sd_configs:
- server: 127.0.0.1:8500
services: ['node_exporter']
配置文件说明：
consul_sd_node_exporter：指定prometheus是基于Consul的自动服务发现所使用的选项。
- server：指定Consul服务地址，我这里是将Consul和prometheus安装在同一台主机上，所有这里使用127.0.0.1地址。
services：服务名称列表数组，指定当前需要发现哪种服务的信息。可以指定多服务名称，例如service:['node_exporter','mysqld_exporter']，如果不填写，默认获取Consul上注册的所有服务。
6）监控机下线
当被监控服务节点故障失效或回收下线，需要删除被发现服务，否则prometheus的targets列表中仍然会显示该服务。
下面我们对以上发现的node_exporter服务进行删除操作
[root@localhost ~]# curl --request PUT http://127.0.0.1:8500/v1/agent/service/deregister/node_exporter
这里的“node_exporter”为配置文件中service的id，若没有配置id，即为name内容。
7）监控机上线
被监控服务节点故障恢复后，可以使用命令：./consul reload重新加载生效。
[root@localhost ~]# cd /usr/local/consul/
[root@localhost consul]# ./consul reload
[root@localhost consul]# systemctl restart prometheus
三、DNS服务发现
1）配置hosts解析，有dns可以配置dns
[root@localhost ~]# vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.2.136 prometheus.tcp.com
2）配置prometheus
[root@localhost ~]# vi /usr/local/prometheus/prometheus.yml
- job_name: 'dns_node_exporter'
static_configs:
- targets: ['prometheus.tcp.com:9100']
[root@localhost ~]# systemctl restart prometheus
