前序
随着现在容器技术的火热，越来越多的人愿意接触容器，而容器本身并不只是一个独立工程，而是伴随着容器的升级，改进，其周边衍生出了很多技术其中包括容器OS、容器引擎，基础架构的容器网络、存储、安全，容器运行必不可少的镜像仓库、编排，及运维关注的监控、日志等技术，而这些技术的核心就是，我们将各个功能组件根据自己的生产需求组合起来，构成一个大的较为复杂的，功能齐全的技术战参考阿里云发布的100个容器周边项目，分为14个主要的类别，并对我们身边的技术做比较详细的比较和讲解。上一篇讲到几大重要的容器引擎，这期我们接着讲解容器的监控和数据收集的几大工具。
监控和数据收集
Cadviosr
Cadviosr是Google用来监测单节点的资源信息的监控工具。虽然Docker提供了一些CLI的命令行的功能，但是在一个看图的时代，基本的功能是很难满足人民群众日益增长的物质文化需求，Cadvisor提供了一目了然的单节点多容器的资源监控功能。Google的Kubernetes中也缺省地将其作为单节点的资源监控工具，各个节点缺省会被安装上Cadvisor。在免费的世界里，Cadvisor作为一个很不错的工具，越来越多的引起很多人过渡性的关注。
以上就是 cAdvisor 的主要功能，总结起来主要两点：
1.展示 Host 和容器两个层次的监控数据。
2.展示历史变化数据。
使用参考
//首先先pull镜像
docker pull docker.io/google/cadvisor
//在每一个节点运行
docker run \
--volume=/:/rootfs:ro \
--volume=/var/run:/var/run:rw \
--volume=/sys:/sys:ro \
--volume=/var/lib/docker/:/var/lib/docker:ro \
--publish=8090:8080 \
--detach=true \
--name=cadvisor \
google/cadvisor:latest
由于 cAdvisor 提供的操作界面略显简陋，而且需要在不同页面之间跳转，并且只能监控一个 host，这不免会让人质疑它的实用性。但 cAdvisor 的一个亮点是它可以将监控到的数据导出给第三方工具，由这些工具进一步加工处理。
我们可以把 cAdvisor 定位为一个监控数据收集器，收集和导出数据是它的强项，而非展示数据。
sysdig
sysdig 是一个轻量级的系统监控工具，同时它还原生支持容器。通过 sysdig 我们可以近距离观察 linux 操作系统和容器的行为。
而 sysdig 则是将这些工具的功能集成到一个工具中，并且提供一个友好统一的操作界面。
sysdig 容器是以 privileged 方式运行，而且会读取操作系统 /dev，/proc 等数据，这是为了获取足够的系统信息。启动后，通过 docker container exec -it sysdig bash 进入容器，执行 csysdig 命令，将以交互方式启动 sysdig
sysdig 的特点如下：
监控信息全，包括 Linux 操作系统和容器。
界面交互性强。
Prometheus
Prometheus是一个开源的系统监控和报警工具，特点是
- 多维数据模型（时序列数据由metric名和一组key/value组成）
- 在多维度上灵活的查询语言(PromQl)
- 不依赖分布式存储，单主节点工作.
- 通过基于HTTP的pull方式采集时序数据
- 可以通过push gateway进行时序列数据推送(pushing)
- 可以通过服务发现或者静态配置去获取要采集的目标服务器
- 多种可视化图表及仪表盘支持
pull方式
Prometheus采集数据是用的pull也就是拉模型,通过HTTP协议去采集指标，只要应用系统能够提供HTTP接口就可以接入监控系统，相比于私有协议或二进制协议来说开发、简单。
push方式
对于定时任务这种短周期的指标采集，如果采用pull模式，可能造成任务结束了，Prometheus还没有来得及采集，这个时候可以使用加一个中转层，客户端推数据到Push Gateway缓存一下，由Prometheus从push gateway pull指标过来。(需要额外搭建Push Gateway，同时需要新增job去从gateway采数据)
组成及架构
Prometheus server 主要负责数据采集和存储，提供PromQL查询语言的支持
客户端sdk 官方提供的客户端类库有go、java、scala、python、ruby，其他还* 有很多第三方开发的类库，支持nodejs、php、erlang等
Push Gateway 支持临时性Job主动推送指标的中间网关
PromDash 使用rails开发的dashboard，用于可视化指标数据
exporters 支持其他数据源的指标导入到Prometheus，支持数据库、硬件、消息中间件、存储系统、http服务器、jmx等
alertmanager 实验性组件、用来进行报警
prometheus_cli 命令行工具
其他辅助性工具
TICK-Stack
基于TICK技术栈实现的Docker容器可视化监控方案架构
Telegraf：采用插件机制实现的数据采集服务，可以采集包含Docker容器在内的多种性能数据
InfluxDB：专门负责存储时序数据
Chronograf：基于React.js编写的性能数据可视化服务
Kapacitor：提供告警触发和处理功能
这四个组件组成了性能监控的数据管道：Telegraf负责采集节点上的性能数据，然后放入InfluxDB数据库进行存储，Kapacitor通过监听InfluxDB的性能数据来对异常指标发出告警，而Chronograf用来展示集群实时的各项性能指标和状态，提供一个可视化的界面。
Grafana
数据源
Grafana支持多种不同的时序数据库数据源，Grafana对每种数据源提供不同的查询方法，而且能很好的支持每种数据源的特性。
组织
Grafana为了支持多种部署模式支持多组织，包括使用一个单一的Grafana实例为多个潜在的不受信任的组织提供的服务。
在许多情况下，Grafana将部署一个单一的组织。
每个组织可以有一个或多个数据源。
所有的仪表板是由一个特定的组织拥有的。
用户
用户在Grafana与账户是一个概念。
一个用户可以属于一个或多个组织，可以通过角色来分配不同的权限。
Grafana支持多种用户认证的方式。
行
行是Grafana在仪表盘界面的逻辑分区器，用于将多个面板连接在一起。
行一般是12个单位宽度。
单位宽度是Grafana为了支持不同分辨率的屏幕所采取的一种策略，这样Grafana可以在不同分辨率的显示器上拥有良好的展示效果。
面板
面板是Grafana最基本的展示单位。
每个面板提供一个查询编辑器（依赖于面板中选择的数据源），允许您利用查询编辑器来编辑出一个完美的展示图像。
面板提供各种各样的样式和格式选项，而且支持拖拽来在仪表盘上重排，并且可以调整大小。
目前有四个面板类型：图像，状态，面板列表，表格 等类型，而且也支持文本类型。
语句管理
Query Editor 顾名思义，就是语句管理，每个面板都提供一个Query Editor，我们可以通过编写语句来控制面板展示不同的图表。
仪表盘
仪表盘是Grafana里面最重要的展示部分。
仪表盘可以视为一组一个或多个面板组成的一个集合，来展示各种各样的面板。
仪表盘还可以使用 模板 来允许用户交互式的选择数据来展示。
仪表盘也可以通过 注释 来标记出各种各样的事件。
仪表盘也支持通过多种不同的方式来共享，支持通过链接的方式共享或者导出JSON等格式的文件。
面板（或整个仪表板）可以以多种方式轻松共享，既可以通过链接分享，也可以导出JSON等文本文件。
参考
https://blog.csdn.net/liumiaocn/article/details/52099969
https://www.cnblogs.com/CloudMan6/p/7646995.html
https://www.cnblogs.com/davygeek/p/6668706.html
https://prometheus.io/docs/introduction/overview/
https://www.jianshu.com/p/d48840c09afb
https://blog.csdn.net/hxpjava1/article/details/79442070
