监控系列讲座(五)exporter概览

1. exporter概览

前面我们尝试过了使用prometheus server抓举数据,只不过数据是我们随机生成的,而且数据和服务器是在一台机器。而我们实际的生产中最常使用的endpoint叫exporter,exporter可以被认为是prometheus的客户端或者agent,只不过这个agent并不是推送数据到prometheus服务器,而是暴露(expose)指标(metrics)到某一个端口,这个端口是可以通过http的方式访问到的。而我们通过scrapy的方式就可以抓取到。

官方网站一共给我们提供了下面几种exporter的下载

  • blackbox_exporter
  • consul_exporter
  • graphite_exporter
  • haproxy_exporter
  • memcached_exporter
  • mysqld_exporter
  • node_exporter
  • statsd_exporter

而实际上,我们是可以自己定义exporter的,在官网上列出的第三方exporter不计其数。

如果这还不够,我们还可以开发自己的exporter,当然,要遵循一定的规则

最后,如果exporters依然不能满足需求,那么我们就自己写吧,官方声明支持Go,java,scala,python和ruby的客户端,而实际上非官方的还有10多种语言可以来开发。总有一款适合你!

2. node_exporter

这么多的客户端我们不能一一尝试,我这里用node_exporter来给大家做一个演示。这个主要是来监控主机的,支持linux和mac,没有windows。我们下面的演示是在mac上做的,在linux上也是一样的。

2.1. 启动node_exporter

  • 下载地址:node_exporter-1.0.0.darwin-amd64.tar.gz

  • 解压

    tar xf node_exporter-1.0.0.darwin-amd64.tar.gz
    cd node_exporter-1.0.0.darwin-amd64
    
  • 启动

    他默认是不提供配置文件的,所以直接运行就可以了

    ./node_exporter
    

    当然,不是没有配置,我们可以使用node_exporter -h来查看详细的配置,或者使用--web.config=""来指定TLS证书的位置。

  • 打开浏览器,访问http://localhost:9100/metrics。可以看到下面的信息。

image-20200610103335829.png
file

看起来好像和prometheus服务器暴露出来的信息的格式是差不多的,只不过我们没办法进行数据的查询,我们需要通过prometheus抓取之后才能够进行计算。

2.2. 配置Prometheus抓取这个endpoint上的数据

我们还是使用前面的prometheus服务器

  • 修改prometheus.yml,添加一个新的job

      - job_name: 'laptop_exporter'
        scrape_interval: 5s
        static_configs:
        - targets: ['localhost:9100']
          labels:
            host: 'my_laptop'
    
  • 重新启动prometheus并且访问http://localhost:9090

  • 在console选项卡界面,输入我们要查询的项node_filesystem_size_bytes

image-20200610104211803.png
file

3. mysql_exporter

另外一个常见的exporter是mysql,这个exporter是通过登录mysql数据库内部,从内部取得一些指标后,暴露出来的。

2.1. 安装mysql

这个就不演示了,我们只要通过mysql命令行可以登录就可以了,我们这里是本地演示,如果是远程的话需要打开mysql的远程登录

# /usr/local/mysql/bin/mysql -uroot -p
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 10
Server version: 8.0.20 MySQL Community Server - GPL

Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> 

2.2. 启动node_exporter

  • 下载地址:mysqld_exporter-0.12.1.darwin-amd64.tar.gz

  • 解压:

    tar xf mysqld_exporter-0.12.1.darwin-amd64.tar.gz
    cd mysqld_exporter-0.12.1.darwin-amd64
    
  • 启动

    $ export DATA_SOURCE_NAME='root:Passw0rd@(localhost:3306)/'
    $ ./mysqld_exporter
    INFO[0000] Starting mysqld_exporter (version=0.12.1, branch=HEAD, revision=48667bf7c3b438b5e93b259f3d17b70a7c9aff96)  source="mysqld_exporter.go:257"
    INFO[0000] Build context (go=go1.12.7, user=root@0b3e56a7bc0a, date=20190729-12:36:41)  source="mysqld_exporter.go:258"
    INFO[0000] Enabled scrapers:                             source="mysqld_exporter.go:269"
    INFO[0000]  --collect.global_status                      source="mysqld_exporter.go:273"
    INFO[0000]  --collect.global_variables                   source="mysqld_exporter.go:273"
    INFO[0000]  --collect.slave_status                       source="mysqld_exporter.go:273"
    INFO[0000]  --collect.info_schema.innodb_cmp             source="mysqld_exporter.go:273"
    INFO[0000]  --collect.info_schema.innodb_cmpmem          source="mysqld_exporter.go:273"
    INFO[0000]  --collect.info_schema.query_response_time    source="mysqld_exporter.go:273"
    INFO[0000] Listening on :9104                            source="mysqld_exporter.go:283"
    
  • 打开浏览器,访问http://localhost:9104/metrics,可以看到下面的信息

image-20200610113154431.png
file

2.3. 配置Prometheus抓取这个endpoint上的数据

我们还是使用前面的prometheus服务器

  • 修改prometheus.yml,添加一个新的job

      - job_name: 'mysql_on_laptop_exporter'
        static_configs:
        - targets: ['localhost:9104']
          labels:
            app: 'mysql_on_laptop'
    
  • 在console选项卡界面,输入我们要查询的项mysql_version_info

image-20200610113711240.png
file

为了方便大家学习,请大家加我的微信,我会把大家加到微信群(微信群的二维码会经常变)和qq群821119334,问题答案云原生技术课堂,有问题可以一起讨论

  • 个人微信
    640.jpeg

  • 腾讯课堂
    640-20200506145837072.jpeg

  • 微信公众号
    640-20200506145842007.jpeg

  • 专题讲座

2020 CKA考试视频 真题讲解 https://www.bilibili.com/video/BV167411K7hp

2020 CKA考试指南 https://www.bilibili.com/video/BV1sa4y1479B/

2020年 5月CKA考试真题 https://mp.weixin.qq.com/s/W9V4cpYeBhodol6AYtbxIA

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,186评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,858评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,620评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,888评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,009评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,149评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,204评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,956评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,385评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,698评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,863评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,544评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,185评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,899评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,141评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,684评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,750评论 2 351