Prometheus -1-1-1

1.1Prometheus 是一个开源的系统监控和报警系统，现在已经加入到 CNCF 基金会，成为继 k8s 之后

第二个在 CNCF 托管的项目，在 kubernetes 容器管理系统中，通常会搭配 prometheus 进行监控，同 时也支持多种 exporter 采集数据，还支持 pushgateway 进行数据上报，Prometheus 性能足够支撑 上万台规模的集群。

下次有空多学一下relabel_configs，对k8s监控的服务发现很有帮助

prometheus 特点

1.多维度数据模型

每一个时间序列数据都由 metric 度量指标名称和它的标签 labels 键值对集合唯一确定:

这个 metric 度量指标名称指定监控目标系统的测量特征(如:http_requests_total- 接收 http 请 求的总计数)。labbels 开启了 Prometheus 的多维数据模型:对于相同的度量名称，通过不同标签列表 的结合, 会形成特定的度量维度实例。(例如:所有包含度量名称为/api/tracks 的 http 请求，打上method=POST 的标签，则形成了具体的 http 请求)。这个查询语言在这些度量和标签列表的基础上进行过 滤和聚合。改变任何度量上的任何标签值，则会形成新的时间序列图。

2.灵活的查询语言(PromQL)

可以对采集的 metrics 指标进行加法，乘法，连接等操作; 3.可以直接在本地部署，不依赖其他分布式存储;

4.通过基于 HTTP 的 pull 方式采集时序数据;

5.可以通过中间网关 pushgateway 的方式把时间序列数据推送到 prometheus server 端; 6.可通过服务发现或者静态配置来发现目标服务对象(targets)。 7.有多种可视化图像界面，如 Grafana 等。

8.高效的存储，每个采样数据占 3.5 bytes 左右，300 万的时间序列，30s 间隔，保留 60 天，消耗 磁盘大概 200G。

9.做高可用，可以对数据做异地备份，联邦集群，部署多套 prometheus，pushgateway 上报数据

1.3 prometheus 组件

从上图可发现，Prometheus 整个生态圈组成主要包括 prometheus server，Exporter， pushgateway，alertmanager，grafana，Web ui 界面，Prometheus server 由三个部分组成， Retrieval，Storage，PromQL

1.Retrieval 负责在活跃的 target 主机上抓取监控指标数据 

2.Storage 存储主要是把采集到的数据存储到磁盘中 

3.PromQL 是 Prometheus 提供的查询语言模块。

1.Prometheus Server:

用于收集和存储时间序列数据。

2.Client Library:

客户端库，检测应用程序代码，当 Prometheus 抓取实例的 HTTP 端点时，客户端库会将所有跟踪

的 metrics 指标的当前状态发送到 prometheus server 端。 3.Exporters:

prometheus 支持多种 exporter，通过 exporter 可以采集 metrics 数据，然后发送到 prometheus server 端，所有向 promtheus server 提供监控数据的程序都可以被称为 exporter

4.Alertmanager:

从 Prometheus server 端接收到 alerts 后，会进行去重，分组，并路由到相应的接收方，发出 报警，常见的接收方式有:电子邮件，微信，钉钉, slack 等。

5.Grafana:

监控仪表盘，可视化监控数据

6.pushgateway:

各个目标主机可上报数据到 pushgatewy，然后 prometheus server 统一从 pushgateway 拉取

数据。

1.4 prometheus 几种部署模式

基本 HA 模式

基本的 HA 模式只能确保 Promthues 服务的可用性问题，但是不解决 Prometheus Server 之间 的数据一致性问题以及持久化问题(数据丢失后无法恢复)，也无法进行动态的扩展。因此这种部署方式适 合监控规模不大，Promthues Server 也不会频繁发生迁移的情况，并且只需要保存短周期监控数据的 场景。

基本 HA + 远程存储方案

在解决了 Promthues 服务可用性的基础上，同时确保了数据的持久化，当 Promthues Server 发 生宕机或者数据丢失的情况下，可以快速的恢复。 同时 Promthues Server 可能很好的进行迁移。因 此，该方案适用于用户监控规模不大，但是希望能够将监控数据持久化，同时能够确保 Promthues Server 的可迁移性的场景。

基本 HA + 远程存储 + 联邦集群方案

Promthues 的性能瓶颈主要在于大量的采集任务，因此用户需要利用 Prometheus 联邦集群的特 性，将不同类型的采集任务划分到不同的 Promthues 子服务中，从而实现功能分区。例如一个 Promthues Server 负责采集基础设施相关的监控指标，另外一个 Prometheus Server 负责采集应用 监控指标。再有上层 Prometheus Server 实现对数据的汇聚。

1.5 prometheus 工作流程

1. Prometheus server 可定期从活跃的(up)目标主机上(target)拉取监控指标数据，目标主

机的监控数据可通过配置静态 job 或者服务发现的方式被 prometheus server 采集到，这种方式默认的 pull 方式拉取指标;也可通过 pushgateway 把采集的数据上报到 prometheus server 中;还可通过 一些组件自带的 exporter 采集相应组件的数据;

2.Prometheus server 把采集到的监控指标数据保存到本地磁盘或者数据库;

3.Prometheus 采集的监控指标数据按时间序列存储，通过配置报警规则，把触发的报警发送到 alertmanager

4.Alertmanager 通过配置报警接收方，发送报警到邮件，微信或者钉钉等 

5.Prometheus 自带的 web ui 界面提供 PromQL 查询语言，可查询监控数据

6.Grafana 可接入 prometheus 数据源，把监控数据以图形化形式展示出

1.6 prometheus 如何更好的监控 k8s?

对于 Kubernetes 而言，我们可以把当中所有的资源分为几类:

1、基础设施层(Node):集群节点，为整个集群和应用提供运行时资源 2、容器基础设施(Container):为应用提供运行时环境

3、用户应用(Pod):Pod 中会包含一组容器，它们一起工作，并且对外提供一个(或者 一组)功能

4、内部服务负载均衡(Service):在集群内，通过 Service 在集群暴露应用功能，集群内 应用和应用之间访问时提供内部的负载均衡

5、外部访问入口(Ingress):通过 Ingress 提供集群外的访问入口，从而可以使外部客户 端能够访问到部署在 Kubernetes 集群内的服务

因此，在不考虑 Kubernetes 自身组件的情况下，如果要构建一个完整的监控体系，我们应该 考虑，以下 5 个方面:

1)、集群节点状态监控:从集群中各节点的 kubelet 服务获取节点的基本运行状态; 

2)、集群节点资源用量监控:通过 Daemonset 的形式在集群中各个节点部署 Node Exporter 采集节点的资源使用情况;

3)、节点中运行的容器监控:通过各个节点中 kubelet 内置的 cAdvisor 中获取个节点中所有容器的运行状态和资源使用情况;

4)、从黑盒监控的角度在集群中部署 Blackbox Exporter 探针服务，检测 Service 和 Ingress 的可用性;

5)、如果在集群中部署的应用程序本身内置了对 Prometheus 的监控支持，那么我们还应该找 到相应的 Pod 实例，并从该 Pod 实例中获取其内部运行状态的监控指标。

2安装采集节点资源指标组件 node-exporter

node-exporter 是什么?

采集机器(物理机、虚拟机、云主机等)的监控指标数据，能够采集到的指标包括 CPU, 内存，磁 盘，网络，文件数等信息。

安装 node-exporter 组件，在 k8s 集群的控制节点操作

# kubectl create ns monitor-sa

把课件里的 node-exporter.tar.gz 镜像压缩包上传到 k8s 的各个节点，

手动解压:  docker load -i node-exporter.tar.gz

 docker load -i node-exporter.tar.gz

node-export.yaml 文件在课件，可自行上传到自己 k8s 的控制节点，内容如下: 

# cat node-export.yaml

apiVersion: apps/v1

kind: DaemonSet

metadata:

  name: node-exporter

  namespace: monitor-sa

  labels:

    name: node-exporter

spec:

  selector:

    matchLabels:

    name: node-exporter

  template:

    metadata:

      labels:

        name: node-exporter

    spec:

      hostPID: true

      hostIPC: true

      hostNetwork: true

      containers:

      - name: node-exporter

        image: prom/node-exporter:v0.16.0

        ports:

        - containerPort: 9100

        resources:

          requests:

            cpu: 0.15

        securityContext:

          privileged: true

        args:

        - --path.procfs

        - /host/proc

        - --path.sysfs

        - /host/sys

        - --collector.filesystem.ignored-mount-points

        - '"^/(sys|proc|dev|host|etc)($|/)"'

        volumeMounts:

        - name: dev

          mountPath: /host/dev

        - name: proc

          mountPath: /host/proc

        - name: sys

          mountPath: /host/sys

        - name: rootfs

          mountPath: /rootfs

      tolerations:

      - key: "node-role.kubernetes.io/master"

        operator: "Exists"

        effect: "NoSchedule"

      volumes:

        - name: proc

          hostPath:

            path: /proc

        - name: dev

          hostPath:

            path: /dev

        - name: sys

          hostPath:

            path: /sys

        - name: rootfs

          hostPath:

            path: /

kubectl apply -f node-export.yaml

#查看 node-exporter 是否部署成功

kubectl get pods -n monitor-sa

NAME                  READY  STATUS    RESTARTS  AGE

node-exporter-5dh6b  1/1    Running  0          11m

node-exporter-qd9f7  1/1    Running  0          11m

通过 node-exporter 采集数据

curl http://主机 ip:9100/metrics

#node-export 默认的监听端口是 9100，可以看到当前主机获取到的所有监控数据

curl http://192.168.172.163:9100/metrics | grep node_cpu_seconds

显示 192.168.172.163 主机 cpu 的使用情况

curl http://192.168.172.163:9100/metrics | grep node_cpu_seconds

  % Total    % Received % Xferd  Average Speed  Time    Time    Time  Current

                                Dload  Upload  Total  Spent    Left  Speed

100 78237  100 78237    0    0  10.5M      0 --:--:-- --:--:-- --:--:-- 12.4# HELP node_cpu_seconds_total Seconds the cpus spent in each mode.

M

# TYPE node_cpu_seconds_total counter

node_cpu_seconds_total{cpu="0",mode="idle"} 64776.09

node_cpu_seconds_total{cpu="0",mode="iowait"} 16.41

node_cpu_seconds_total{cpu="0",mode="irq"} 0

node_cpu_seconds_total{cpu="0",mode="nice"} 0.63

node_cpu_seconds_total{cpu="0",mode="softirq"} 121.24#HELP:解释当前指标的含义，上面表示在每种模式下 node 节点的 cpu 花费的时间，以 s 为单位 #TYPE:说明当前指标的数据类型，上面是 counter 类型 node_cpu_seconds_total{cpu="0",mode="idle"} :

cpu0 上 idle 进程占用 CPU 的总时间，CPU 占用时间是一个只增不减的度量指标，从类型中也可以 看出 node_cpu 的数据类型是 counter(计数器)

counter 计数器:只是采集递增的指标

curl http://192.168.172.163:9100/metrics | grep node_load

# HELP node_load1 1m load average.

# TYPE node_load1 gauge

node_load1 0.1

node_load1 

该指标反映了当前主机在最近一分钟以内的负载情况，系统的负载情况会随系统资源的

使用而变化，因此 node_load1 反映的是当前状态，数据可能增加也可能减少，从注释中可以看出当前 指标类型为 gauge(标准尺寸)

gauge 标准尺寸:统计的指标可增加可减少

3.在 k8s 集群中安装 Prometheus server 服务

3.1创建 sa 账号

#在 k8s 集群的控制节点操作，创建一个 sa 账号

kubectl create serviceaccount monitor -n monitor-sa

#把 sa 账号 monitor 通过 clusterrolebing 绑定到 clusterrole 上

kubectl create clusterrolebinding monitor-clusterrolebinding -n monitor-sa --clusterrole=cluster-admin --serviceaccount=monitor-sa:monitor

#执行上面授权也会报错，那就需要下面的授权命令:

kubectl create clusterrolebinding monitor-clusterrolebinding-1 -n monitor-sa -- clusterrole=cluster-admin --user=system:serviceaccount:monitor:monitor-sa

3.2 创建数据目录

#在 god64 作节点创建存储数据的目录: 

]# mkdir /data 

]# chmod 777 /data/

3.3 安装 prometheus 服务

以下步骤均在 

k8s 集群的控制节点操作:

创建一个 configmap 存储卷，用来存放 prometheus 配置信息 prometheus-cfg.yaml ，k8s 的控制节点

安装 prometheus server镜像 prometheus-2-2-1.tar.gz，上传到 k8s 的工作节点

cat prometheus-deploy.yaml 

apiVersion: apps/v1

kind: Deployment

metadata:

  name: prometheus-server

  namespace: monitor-sa

  labels:

    app: prometheus

spec:

  replicas: 1

  selector:

    matchLabels:

      app: prometheus

      component: server

    #matchExpressions:

    #- {key: app, operator: In, values: [prometheus]}

    #- {key: component, operator: In, values: [server]}

  template:

    metadata:

      labels:

        app: prometheus

        component: server

      annotations:

        prometheus.io/scrape: 'false'

    spec:

      nodeName: god64

      serviceAccountName: monitor

      containers:

      - name: prometheus

        image: prom/prometheus:v2.2.1

        imagePullPolicy: IfNotPresent

        command:

          - prometheus

          - --config.file=/etc/prometheus/prometheus.yml

          - --storage.tsdb.path=/prometheus  #旧数据存储目录

          - --storage.tsdb.retention=720h    #何时删除旧数据，默认为 15 天。

          - --web.enable-lifecycle          #开启热加载

        ports:

        - containerPort: 9090

          protocol: TCP

        volumeMounts:

        - mountPath: /etc/prometheus/prometheus.yml

          name: prometheus-config

          subPath: prometheus.yml

        - mountPath: /prometheus

          name: prometheus-storage-volume

      volumes:

        - name: prometheus-config

          configMap:

            name: prometheus-config

            items:

            - key: prometheus.yml

              path: prometheus.yml

              mode: 0644

        - name: prometheus-storage-volume

          hostPath:

            path: /data

            type: Directory

工作 节点我们创建了数据目录/data，你在 k8s 集群的哪个节点创建/data，就让 pod 调度到哪个节点。

kubectl apply -f prometheus-deploy.yaml

#查看 prometheus 是否部署成功

kubectl get pods -n monitor-sa

NAME                                READY  STATUS    RESTARTS  AGE

node-exporter-5dh6b                  1/1    Running  0          4d1h

node-exporter-qd9f7                  1/1    Running  0          4d1h

prometheus-server-5bc47cc46d-6wn4t  1/1    Running  0          2m49s

给 prometheus pod 创建一个 service

cat prometheus-svc.yaml

apiVersion: v1

kind: Service

metadata:

  name: prometheus

  namespace: monitor-sa

  labels:

    app: prometheus

spec:

  type: NodePort

  ports:

    - port: 9090

      targetPort: 9090

      protocol: TCP

  selector:

    app: prometheus

    component: server

kubectl apply -f prometheus-svc.yaml

#查看 service 在物理机映射的端口

kubectl get svc -n monitor-sa

NAME        TYPE      CLUSTER-IP      EXTERNAL-IP  PORT(S)          AGE

prometheus  NodePort  10.106.198.175  <none>        9090:31994/TCP  28s

通过上面可以看到 service 在宿主机上映射的端口是 30009，这样我们访问 k8s 集群的控制节点的 ip:30009，就可以访问到 prometheus 的 web ui 界面了

#访问 prometheus web ui 界面 火狐浏览器输入如下地址:

http://192.168.172.164:31994/graph

kubectl get pods -n monitor-sa -o wide

NAME                                READY  STATUS    RESTARTS  AGE    IP                NODE      NOMINATED NODE  READINESS GATES

node-exporter-5dh6b                  1/1    Running  0          4d4h  192.168.172.164     

node-exporter-qd9f7                  1/1    Running  0          4d4h  192.168.172.163    

prometheus-server-5bc47cc46d-6wn4t  1/1    Running  0          143m  10.244.209.134    

curl -X POST http://10.244.209.134:9090/-/reload

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 205,386评论 6赞 479
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,939评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,851评论 0赞 341
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,953评论 1赞 278
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,971评论 5赞 369
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,784评论 1赞 283
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,126评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,765评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,148评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,744评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,858评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,479评论 4赞 322
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,080评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,053评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,278评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,245评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,590评论 2赞 343

推荐阅读更多精彩内容