Docker搭建Prometheus+grafana监控系统

2022-05-17更新

一、Prometheus简介

1、简介

Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。
Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。 2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。 Prometheus目前在开源社区相当活跃。
Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。

2、基本原理

Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。
这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。输出被监控组件信息的HTTP接口被叫做exporter。目前互联网公司常用的组件大部分
都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系统信息(包括磁盘、内存、CPU、网络等等)。

3、架构涉及

架构涉及.png

组件

Prometheus Sever：是Prometheus组件中的核心部分，负责实现对监控数据的获取，存储及查询。
Prometheus Server可以通过静态配置管理监控目标，也可以配合使用Service -Discovery的方式动态管理监控目标，并从这些监控目标中获取数据。其次Prometheus Sever需要对采集到的数据进行存储，Prometheus Server本身就是一个实时数据库，将采集到的监控数据按照时间序列的方式存储在本地磁盘当中。Prometheus Server对外提供了自定义的PromQL，实现对数据的查询以及分析。另外Prometheus Server的联邦集群能力可以使其从其他的Prometheus Server实例中获取数据。
Exporter：将监控数据采集的端点通过HTTP服务的形式暴露给Prometheus Server，Prometheus Server通过访问该Exporter提供的Endpoint端点，即可以获取到需要采集的监控数据。可以将Exporter分为2类：
直接采集：这一类Exporter直接内置了对Prometheus监控的支持，比如cAdvisor，Kubernetes，Etcd，Gokit等，都直接内置了用于向Prometheus暴露监控数据的端点。
间接采集：原有监控目标并不直接支持Prometheus，因此需要通过Prometheus提供的Client Library编写该监控目标的监控采集程序。例如：Mysql Exporter，JMX Exporter，Consul Exporter等。
Service Discovery：服务发现，Prometheus支持多种服务发现机制：文件，DNS，Consul,Kubernetes,OpenStack,EC2等等。基于服务发现的过程并不复杂，通过第三方提供的接口，Prometheus查询到需要监控的Target列表，然后轮询这些Target获取监控数据。
AlertManager：在Prometheus Server中支持基于Prom QL创建告警规则，如果满足Prom QL定义的规则，则会产生一条告警。在AlertManager从 Prometheus server 端接收到 alerts后，会进行去除重复数据，分组，并路由到对收的接受方式，发出报警。常见的接收方式有：电子邮件，pagerduty，webhook 等。
PushGateway：Prometheus数据采集基于Prometheus Server从Exporter pull数据，因此当网络环境不允许Prometheus Server和Exporter进行通信时，可以使用PushGateway来进行中转。通过PushGateway将内部网络的监控数据主动Push到Gateway中，Prometheus Server采用针对Exporter同样的方式，将监控数据从PushGateway pull到Prometheus Server。

工作流

Prometheus server定期从配置好的jobs或者exporters中拉取metrics，或者接收来自 Pushgateway发送过来的metrics，或者从其它的Prometheus server中拉metrics。
Prometheus server在本地存储收集到的metrics，并运行定义好的alerts.rules，记录新的时间序列或者向Alert manager推送警报。
Alertmanager根据配置文件，对接收到的警报进行处理，发出告警。
在图形界面中，可视化采集数据。

常用的exporter整理

node-exporter: 用来监控运算节点上的宿主机的资源信息，需要部署到所有运算节点
kube-state-metric：prometheus采集k8s资源数据的exporter，能够采集绝大多数k8s内置资源的相关数据，例如pod、deploy、service等等。同时它也提供自己的数据，主要是资源采集个数和采集发生的异常次数统计
cAdvisor （Container Advisor）：用于监控正在运行的容器资源使用和性能信息。
https://github.com/google/cadvisor
Blackbox_exporter：监控业务容器存活性。可以提供 http、dns、tcp、icmp 的监控数据采集

二、环境准备

docker环境3台 server: 192.168.0.219 client: 192.168.0.89/192.168.0.199
监控服务器需要安装4个服务
Prometheus Server(普罗米修斯监控主服务器 )
Node Exporter (收集Host硬件和操作系统信息)
cAdvisor (负责收集Host上运行的容器信息)
Grafana (展示普罗米修斯监控界面）
被监控的只需安装2个
Node Exporter (收集Host硬件和操作系统信息)
cAdvisor (负责收集Host上运行的容器信息)

三、部署node_exporter（server、client都安装）

docker pull prom/node-exporter #拉取最新镜像
docker run --name=node-exporter -p 9100:9100 -itd prom/node-exporter #启动exporter

访问节点信息

server http://192.168.0.219:9100
client http://192.168.0.89:9100
client http://192.168.0.199:9100

server-node

四、安装prometheus server（server安装）

mkdir -p /data/docker/prometheus/{server,client}  #根据自身服务器情况编写路径
touch /data/docker/prometheus/server/rules.yml
编辑prometheus.yml文件，添加客户端信息

vim /data/docker/prometheus/server/prometheus.yml

global:
  scrape_interval:     60s
  evaluation_interval: 60s
 
scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ['localhost:9090']
        labels:
          instance: prometheus
 
  - job_name: 主节点
    static_configs:
      - targets: ['192.168.0.219:9100']
        labels:
          instance: 192.168.0.219

  - job_name: 副节点
    static_configs:
      - targets: ['192.168.0.89:9100']
        labels:
          instance: 192.168.0.89

  - job_name: 副节点
    static_configs:
      - targets: ['192.168.0.199:9100']
        labels:
          instance: 192.168.0.199

docker启动prometheus：

docker pull prom/prometheus

docker run --name prometheus -p 9090:9090 --restart=always \
-v /data/docker/prometheus/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /data/docker/prometheus/server/rules.yml:/etc/prometheus/rules.yml \
-itd prom/prometheus \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle

注：启动时加上
--web.enable-lifecycle： 启用远程热加载配置文件
--config.file：启动时加载配置文件

浏览器访问prometheus：http://192.168.0.219:9090

普罗米斯修.png

五、安装Grafana展示（server安装）

Grafana是用于可视化大型测量数据的开源程序，它提供了强大和优雅的方式去创建、共享、浏览数据。

1、先启动测试grafana

docker pull grafana/grafana

docker run --name=grafana -p 3000:3000 -itd grafana/grafana
#将配置文件复制到宿主机：
修改配置文件grafana.ini，配置smtp邮件报警信息（报警会用到）
docker cp grafana:/etc/grafana/grafana.ini /data/docker/prometheus/grafana/ 
　
docker rm -f grafana 
#防止grafana生成文件权限受阻，全开放
chmod 777 /data/docker/prometheus/*

2、正式启动grafana

docker run -p 3000:3000 --name grafana  --restart=always \
-v /data/docker/prometheus/grafana/grafana.ini:/etc/grafana/grafana.ini \
-v /data/docker/prometheus/grafana/data:/var/lib/grafana \
-e "GF_SECURITY_ADMIN_PASSWORD=XXXXX" \
-itd grafana/grafana

注：-e "GF_SECURITY_ADMIN_PASSWORD=XXXXX" 
是设置grafana登陆页面的密码,如不添加这条，默认账号密码为admin/admin

访问：http://192.168.0.219:3000 账号密码为：admin/XXXXX

3、添加prometheus数据源

添加数据源.png

数据源.png

4、添加模板文件：（监控主机信息）

官网模板地址：Dashboards | Grafana Labs
根据自己需求下载网址中模板，下载到本地后，导入grafana

gra.png

也可以导入id号

id号

选择Prometheus