(原创)docker容器搭建prometheus+grafana+cadvisor+elasticsearch实践

大纲：
1、为什么要进行搭建，以及搭建的好处
2、prometheus 的搭建
3、grafana 的搭建
4、cadvisor 的搭建
5、elasticsearch 的搭建
6、filebeat 的搭建
7、elasticsearch_exporter 的搭建
8、node-exporter 的搭建

1、为什么要进行搭建，以及搭建的好处

这次的搭建主要是为了解决数据监控的问题，顺便解决机器的日常维护以及容器的监控。
其实监控系统公司已经存在一套zabbix监控了，那我为什么还要重搭一套呢？答：(1)、zabbix监控的报警我现在邮箱有上千封；(2)、容器的监控，如果有可能会去监控kubernetes集群；(3)、体验目前比较流行的监控。
这次搭建主要是利用docker容器进行，好处就不用我多说了，大家都知道。这篇文章会让你用最快的速度入门体验到pormetheus监控，如果有可能我会在接下来的文章中更新一些自己自定义的监控方案(当然了，也是一些比较基础的)。
本篇不会涉及到报警的设置
如果在启动容器时报错，最有可能的是挂载进容器的目录权限不够，最简单的方法，给777所有权限即可

2、prometheus 的搭建

prometheus以及相关的大部分组件都是采用go语言进行编写的，所以安装配置及其简单。这里采用官方提供的镜像进行搭建。
prometheus我主要是用这个时序数据库进行采集分析的，不做告警处理。
备注：prometheus.yml 这个配置文件，你可以先从镜像里复制一份出来，然后进行修改，也可以直接复制我下面的配置文件进行修改。
因为我是单台机器进行部署的，如果你需要监测多台机器，只需要在数组中配置多个ip即可，形式如;['10.16.88.44:9090','10.16.88.45:9090']。
目前这个配置文件中配置了这次搭建所需要的所有的组件，如果你以后还要增加组件，只需修改这个配置文件，然后重启prometheus这个服务即可。

[root@tag config]# cat prometheus.yml 
# my global config
global:
  scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
  evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
  # scrape_timeout is set to the global default (10s).

# Alertmanager configuration
#alerting:
#  alertmanagers:
#  - static_configs:
#    - targets:
#      - alertmanager:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
#rule_files:
  # - "first_rules.yml"
  # - "second_rules.yml"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
  - job_name: 'prometheus'
    # metrics_path defaults to '/metrics'
    # scheme defaults to 'http'.
    static_configs:
      - targets: ['10.16.88.44:9090']
  
  - job_name: 'cadvisor'
    static_configs:
      - targets: ['10.16.88.44:8084'] # 本地 cadvisor 访问地址
  
  - job_name: 'node-exporter'
    static_configs:
      - targets: ['10.16.88.44:9100']
  - job_name: 'elasticsearch'
    static_configs:
      - targets: ['10.16.88.44:9108']
[root@tag yaml]#
[root@tag yaml]#
[root@tag yaml]# cat prometheus.yaml 
version: '3.1'

services:
  prometheus:
    image: prom/prometheus:v2.9.2
    container_name: monitor_prometheus
    restart: always
    ports:
      - 9090:9090
    volumes:
      - /data/prometheus/prometheus/data:/prometheus/data   #prometheus数据目录
      - /data/prometheus/prometheus/config/prometheus.yml:/etc/prometheus/prometheus.yml   #prometheus数据采集的配置文件
[root@tag yaml]#
[root@tag yaml]#
[root@tag yaml]# docker-compose -f prometheus.yaml up -d              #启动容器

http://ip地址:9090

image.png

3、grafana 的搭建(效果图的展示以后再写)

这个服务主要是将pormetheus采集过来的数据做可视化的界面展示的，虽然pormetheus也带有界面展示，但是它的界面展示太单一了，没有grafana的好看。

[root@tag yaml]# cat grafana.yaml 
version: '3.1'

services:
  grafana:
    image: grafana/grafana:6.1.4
    container_name: monitor_grafana
    restart: always
    ports:
      - 3000:3000
    volumes:
      - /data/prometheus/grafana/data:/var/lib/grafana   #prometheus数据目录
[root@tagyaml]#
[root@tagyaml]#
[root@tagyaml]#docker-compose -f grafana.yaml up -d              #启动容器

出现类似下面的界面就算成功，我这里放出来的是我已经搭建好的界面了。
http://ip地址:3000

image.png

4、cadvisor 的搭建

这个服务主要是将容器的各种信息采集过来，主要是为了解决docker stats的问题(存储、展示)，然后传到prometheus。有关容器日志的相关知识，请自行去学习补充，目前只需要知道，当你采用docker的默认的日志配置时，采用cadvisor是可以采到日志信息的。
注意：privileged 这个配置选项，必须配置，否则会出现各种报错，如果你想自行折腾了，可以尝试着不去配置

[root@tag yaml]# cat cadvisor.yaml 
version: '3.1'

services:
  cadvisor:
    image: google/cadvisor:v0.33.0
    container_name: monitor_cadvisor
    restart: always
    volumes:
       - /:/rootfs:ro
       - /var/run:/var/run:rw
       - /sys:/sys:ro
       - /var/lib/docker/:/var/lib/docker:ro
    ports: 
      - 8084:8080
    privileged: true
[root@tagyaml]#
[root@tagyaml]#
[root@tagyaml]#docker-compose -f cadvisor.yaml up -d              #启动容器

http://ip地址:8084

image.png

5、elasticsearch 搭建

elasticsearch 我这里采用的也是官方提供的镜像，并没有采用第三方的镜像。官方这里提供的docker-compose安装的配置是采用了集群的形式，我这里就直接拿来使用了。
注意：elasticsearch 采集到的数据是无法直接交给prometheus进行直接的使用的，需要通过一个中转的 elasticsearch_exporter 插件服务(后面也会进行安装)，才能让prometheus采集到。

[root@tag yaml]# cat elasticsearch.yaml 
version: '3.1'
services:
  elasticsearch:
    image: elasticsearch:6.4.3
    container_name: elasticsearch
    environment:
      - cluster.name=docker-cluster
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/prometheus/elk/data/1:/usr/share/elasticsearch/data
    ports:
      - 9200:9200
    networks:
      - esnet
  elasticsearch2:
    image: elasticsearch:6.4.3
    container_name: elasticsearch2
    environment:
      - cluster.name=docker-cluster
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - "discovery.zen.ping.unicast.hosts=elasticsearch"
    ulimits:
      memlock:
        soft: -1
        hard: -1
    volumes:
      - /data/prometheus/elk/data/2:/usr/share/elasticsearch/data
    networks:
      - esnet

#volumes:          #我这里是直接采用的本机目录的形式，当然了，你也可以替换成这种数据卷的形式
#  esdata1:
#    driver: local
#  esdata2:
#    driver: local

networks:
  esnet:
[root@tagyaml]#
[root@tagyaml]#
[root@tagyaml]#docker-compose -f elasticsearch.yaml up -d              #启动容器

http://ip地址:9200

image.png

6、filebeat 的搭建

filebeat 的作用主要是将采集到的日志文件发送给刚刚上面搭建的 elasticsearch。

[root@tag config]# cat filebeat.docker.yml 
filebeat.inputs:
- type: log
  enabled: true
  paths:            # 这里配置所需要进行采集的日志目录
    - /var/log/syslog          #这里是采集的系统的一些日志
    - /var/lib/docker/containers/*/*.log        # 这里是采集的docker的一下日志文件

filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 1
setup.kibana:

output.elasticsearch:
  hosts: ["10.16.88.44:9200"]            将采集到的日志发送到刚刚上面搭建的 elasticsearch 中

processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

filebeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true
[root@tag config]# 
[root@tag config]# 
[root@tag yaml]# cat filebeat.yaml 
version: '3.1'
services:
  filebeat:
    image: store/elastic/filebeat:7.0.0
    restart: always
    container_name: monitor_filebeat
    user: root
    volumes:
      - /data/prometheus/filebeat/config/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /var/run/docker.sock:/var/run/docker.sock:ro
#    command: filebeat -e -strict.perms=false -E output.elasticsearch.hosts=["10.16.88.44:9200"] 
[root@tagyaml]#
[root@tagyaml]#
[root@tagyaml]#docker-compose -f filebeat.yaml up -d              #启动容器

如果采集到数据，可以在这个界面看到：http://ip地址:9200/_search?pretty

image.png

7、elasticsearch_exporter 的搭建

filebeat 已经将日志采集到 elasticsearch 中了，那么prometheus怎么才能拿到elasticsearch 中的日志呢？通过刚刚暴露的9200端口？你可以自己尝试着这样配置一下，看看是否可以取到相关的日志信息，顺便看看prometheus默认取的是elasticsearch 9200端口的哪个页面的日志信息。
elasticsearch_exporter 的作用是将elasticsearch 9200端口的日志文件，处理成prometheus 可以直接采集的数据。然后交给9108进行暴露。(这一段纯属博主猜测，并未去看真正的源代码，如有解读错误，还请各位指出)。

[root@tag yaml]# cat elasticsearch_exporter.yaml 
version: '3.1'

services:
  elasticsearch_exporter:
    image: justwatch/elasticsearch_exporter:1.0.2
    container_name: monitor_elasticsearch_exporter
    command:
      - '-es.uri=http://10.16.48.44:9200'
    restart: always
    ports:
      - 9108:9108
[root@tagyaml]#
[root@tagyaml]#
[root@tagyaml]#docker-compose -f elasticsearch_exporter.yaml up -d              #启动容器

http://ip地址:9108/

image.png

这是转发后的页面：http://ip地址:9108/metrics

image.png

8、node-exporter 的搭建

上面采集了容器的信息、容器的日志信息，那么服务器自己本身的信息怎么办？prometheus 官方提供了 node-exporter 这个组件进行服务器底层信息的采集。

[root@tag yaml]# cat node-exporter.yaml 
version: '3.1'

services:
  node-exporter:
    image: prom/node-exporter:v0.17.0
    container_name: monitor_node-exporter
    restart: always
    ports:
      - 9100:9100
[root@tagyaml]#
[root@tagyaml]#
[root@tagyaml]#docker-compose -f node-exporter.yaml up -d              #启动容器

http://ip地址:9100/metrics

image.png

通过这个页面：http://10.16.88.44:9090/targets，可以看到四个数据源到已经连接到了。

image.png

最后编辑于：2019.04.28 19:34:58

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,332评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,508评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 157,812评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,607评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,728评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,919评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,071评论 3赞 410
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,802评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,256评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,576评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,712评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,389评论 4赞 332
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,032评论 3赞 316
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,798评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,026评论 1赞 266
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,473评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,606评论 2赞 350

(原创)docker容器搭建prometheus+grafana+cadvisor+elasticsearch实践

1、为什么要进行搭建，以及搭建的好处

2、prometheus 的搭建

3、grafana 的搭建(效果图的展示以后再写)

4、cadvisor 的搭建

5、elasticsearch 搭建

6、filebeat 的搭建

7、elasticsearch_exporter 的搭建

8、node-exporter 的搭建

推荐阅读更多精彩内容