容器化 | 构建 RadonDB MySQL 集群监控平台

上一篇文章我们演示了如何《在 S3 备份恢复 RadonDB MySQL 集群数据》,本文将演示在 KubeSphere[1] 中使用 Prometheus[2] + Grafana[3] 构建 MySQL 监控平台,开启所需监控指标。

背景

Prometheus 基于文本的暴露格式,已经成为云原生监控领域事实上的标准格式。

RadonDB MySQL 监控引擎基于 Prometheus MySQLd Exporter[5] 定义。通过 mysqld-exporter 抓取 RadonDB MySQL 服务指标,再通过接入第三方应用平台实现监控指标可视化。

准备工作

  • 已准备可用 Kubernetes 或 KubeSphere 集群
  • 已部署 RadonDB MySQL 集群 《部署文档》
  • RadonDB MySQL Kubernetes 版本 2.1.0+

部署步骤

步骤 1: 配置 serviceMonitor

serviceMonitor 开启后将自动绑定 mysqld_exporter 与 Prometheus。

serviceMonitor 参数包含如下字段:

serviceMonitor:
  enabled: true
  ## Additional labels for the serviceMonitor. Useful if you have multiple prometheus operators running to select only specific ServiceMonitors
  # additionalLabels:
  #   prometheus: prom-internal
  interval: 10s
  scrapeTimeout: 3s
  # jobLabel:
  # targetLabels:
  # podTargetLabels:
  namespaceSelector:
    any: true
  selector:
    matchLabels:
      app.kubernetes.io/managed-by: mysql.radondb.com
      app.kubernetes.io/name: mysql

您可以在 charts/mysql-operator/values.yaml 文件中配置 serviceMonitor

  • 新部署 Operator 时, serviceMonitor.enabled 默认为 true,表示默认开启。
  • 已部署 Operator 2.1.0 以下版本的集群,需重新部署 Operator。

步骤 2: 配置 metricsOpts

metricsOpts 是 CRD mysqlclusters.mysql.radondb.com 中定义 RadonDB MySQL 集群监控的参数,可通过配置mysql_v1alpha1_mysqlcluster.yaml 文件中参数值开启监控服务。

metricsOpts 参数包含如下字段:

metricsOpts:
    enabled: false  
    image: prom/mysqld-exporter:v0.12.1

    resources:
      requests:
        cpu: 10m
        memory: 32Mi
      limits:
        cpu: 100m
        memory: 128Mi

metricsOpts.enabled 默认为 false,需手动设置为 true

  • 设置 metricsOpts.enabledtrue,开启集群监控功能;
  • 设置资源参数值,定义监控容器资源配额大小;

文件参数修改完成后,使用如下指令应用配置,部署/更新集群回显信息如下:

$ kubectl apply -f config/sample/mysql_v1alpha1_mysqlcluster.yaml
cluster.mysql.radondb.com/sample created/configured

查看监控服务

通过客户端查看

您可以通过如下指令查看集群监控服务和 serviceMonitor 信息。

$ kubectl get service,servicemonitor

$ kubectl describe servicemonitor <serviceName>

预期效果

$ kubectl get service,servicemonitor
NAME                             TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)    AGE
service/mysql-operator-metrics   ClusterIP   10.96.242.205   <none>        8443/TCP   3h25m
service/sample-follower          ClusterIP   10.96.2.234     <none>        3306/TCP   21h
service/sample-leader            ClusterIP   10.96.30.238    <none>        3306/TCP   21h
service/sample-metrics           ClusterIP   10.96.7.222     <none>        9104/TCP   3h24m
service/sample-mysql             ClusterIP   None            <none>        3306/TCP   21h

NAME                                                              AGE
servicemonitor.monitoring.coreos.com/demo-mysql-operator          3h25m

$ kubectl describe servicemonitor demo-mysql-operator 
Name:         test-radondb-mysql-metrics
Namespace:    default
Labels:       app=test-radondb-mysql
              app.kubernetes.io/managed-by=Helm
              app.kubernetes.io/vendor=kubesphere
              chart=radondb-mysql-1.0.0
              heritage=Helm
              release=test
Annotations:  kubesphere.io/creator: admin
API Version:  monitoring.coreos.com/v1
Kind:         ServiceMonitor
......
Spec:
  Endpoints:
    Interval:        1m
    Path:            /metrics
    Port:            metrics
    Scheme:          http
    Scrape Timeout:  10s
......

在 KubeSphere 平台查看

在 KubeSphere 企业空间部署的 RadonDB MySQL Operator 和集群,开启监控后,可在如下页面查看监控服务状态。

  • 在项目空间应用负载下的服务页面,点击 <集群名称>-metrics,可查看监控服务信息。
file
  • 在项目空间应用负载下的容器组页面,点击一个容器的名称,可查看该容器中 metrics 资源状态。
file

查看监控内容

通过 KubeSphere 自定义监控

KubeSphere 的监控引擎基于 Prometheus 和 Prometheus Operator。使用 KubeSphere 的自定义监控功能支持以可视化的形式监控 RadonDB MySQL 指标。

  • 在集群同一项目中,选择 监控告警 -> 自定义监控 -> 创建
  • 在对话框中,选择 MySQL 模版,并继续配置监控模版;
file
  • 点击 保存模版,即新创建监控面板。
file
  • 新建监控面板需等待约十分钟,即可查看监控数据。
file

更多详情,请查看 KubeSphere 自定义监控介绍[6] 和 可视化监控[7]。

通过 Prometheus + Grafana 平台

Grafana 是一个跨平台、开源的数据可视化网络应用程序平台。通过 Prometheus + Grafana 平台查看监控基本原理如下:

  • 通过 mysql_exporter 获取 RadonDB MySQL 服务监控数据.
  • 通过 node_exporter 获得 RadonDB MySQL 服务器的监控数据。
  • 将监控数据传到 Prometheus 后,通过配置数据源,最终在 Grafana 呈现丰富的监控数据图表和警告。
file

更多 Grafana 可视化监控使用说明,请参见 Grafana Dashboards[8]。

参考引用

  1. KubeSphere:https://kubesphere.com.cn
  2. Prometheus:https://prometheus.io/
  3. Grafana:https://grafana.org/
  4. RadonDB MySQL Kubernetes 2.1.3:https://radondb.com/projects/mysql/
  5. Prometheus MySQLd Exporter:https://github.com/prometheus/mysqld_exporter
  6. 自定义监控:https://kubesphere.io/zh/docs/project-user-guide/custom-application-monitoring/introduction/
  7. 可视化监控:https://kubesphere.io/zh/docs/project-user-guide/custom-application-monitoring/visualization/overview/
  8. Grafana Dashboards:https://grafana.com/docs/grafana/latest/dashboards/
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,444评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,421评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,363评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,460评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,502评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,511评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,280评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,736评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,014评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,190评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,848评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,531评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,159评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,411评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,067评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,078评论 2 352

推荐阅读更多精彩内容