说明
在阅读本文之前，需要对Helm、Prometheus-operator、Thanos这三个工具有一定了解，以便于对文章的理解。简单介绍一下：
- Helm是Kubernetes的包管理工具，相当于CentOS上的YUM。
- Prometheus Operator则简化了在 Kubernetes 上部署、管理和运行 Prometheus 和 Alertmanager 集群。有了它之后，我们就不再需要拿一大堆的yaml去搭建Prometheus了。
- Thanos是则是当下多Pormetheus节点最好的集群解决方案；它解决了Prometheus的两个问题：1.数据持久化存储。2.集中化全局视图。
准备事项
准备一台可以连接Kubernetes的主机，在主机上安装kubectl和helm命令。
上面我们说了用Thanos会将Pormetheus的数据持久化到对象存储，目前支持S3、微软Azure、腾讯COS、Google GCP、Openstack Swift 等对象存储系统。如果不想购买云服务商的OSS产品，可以用S3的开源实现Minio在虚机部署，注意虚机的磁盘空间要大。
新建一个s3.yaml文件`内容如下：
type: S3
config:
bucket: your_bucket
endpoint: xxx.xxx.xxx
access_key: your_AK
secret_key: your_SK
insecure: true
signature_version2: false
bucket、endpoint、access_key、secret_key、insecure需要根据你的实际情况进行填写，需要注意你的AKSK必须对buetck有读写权限。
#创建k8s namespace
kubectl create namespace monitor
kubectl -n monitor create secret generic thanos-objstore-config --from-file=thanos.yaml=s3.yaml
安装步骤
执行以下命令获取Prometheus Operator
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo update
#pull会下载一个kube-prometheus-stack-xxx.tgz
helm pull prometheus-community/kube-prometheus-stack
tar -xf kube-prometheus-stack-20.0.1.tgz
cd kube-prometheus-stack
默认情况下Prometheus Operator会安装以下组件，并直接启动服务：
- prometheus-operator
- prometheus
- alertmanager
- node-exporter
- kube-state-metrics
- grafana
但实际情况是，我们只需要其中部分的组件，并使用对象存储。以grafana为例，在工作场景中我们需要一个统一的grafana来展示全局Prometheus数据，而不是每个Prometheus环境都部署grafana。
因此建议不要使用helm install去直接安装，而是用helm pull先把包拉取下来，然后再进行定制化的修改。
编辑values.yaml文件，配置信息实在是太多了，以下是部分值的修改，按需取用：
---
#原内容 不启用thanos
thanos: {}
#修改后 启用thanos，并配置对象存储
thanos:
baseImage: quay.io/thanos/thanos
version: v0.17.2
objectStorageConfig:
key: thanos.yaml
name: thanos-objstore-config
---
#原内容，不设置外部标签
externalLabels: {}
#修改后,添加外部标签
externalLabels:
produc_name: bpms
run_env: test
---
#原内容 不启用thanos service
thanosService:
enabled: false
type: ClusterIP
clusterIP: "None"
#修改后 使用nodeport暴露thanos service
thanosService:
enabled: true
type: NodePort
clusterIP: ""
---
#启用altermanager
alertmanager:
enabled: true
#修改后，禁用部署altermanager
alertmanager:
enabled: false
---
#启用grafana
grafana:
enabled: true
#修改后，禁用部署grafana
grafana:
enabled: false
---
#原内容 prometheus默认使用Headless Services
## Configuration for Prometheus service
##
service:
port: 9090
nodePort: 30090
type: ClusterIP
#修改后 使用NodePort
service:
port: 9090
nodePort: 30090
type: NodePort
最后启动服务：
#在kube-prometheus-stack执行
helm install kube-prometheus-stack ./ -n monitor
这样thanos sidecar与prometheus server运行在同一个pod中了，具体可通过以下代码查看：
kubectl describe pod prometheus-kube-prometheus-stack-prometheus-0 -n monitor
可以看到Containers中有多个实例。
如果想要查看一下日志：
kubectl logs -f prometheus-kube-prometheus-stack-prometheus-0 -c thanos-sidecar -n monitor
在修改values.yaml时，我们已经把prometheus与sidecar通过nodePort方式暴露出来了。需要注意的是prometheus实际上不需要暴露出来，这里只是为了方便调试，所有访问prometheus的请求都应该通过sidecar去访问。
再启动一个thanos-query看一下效果,thanos-query提供了一个和prometheus UI几乎完全一致的页面：
#http-address是thanos-query对外访问的地址
#store参数填写sidecar的grpc地址，在values.yaml中有定义
./thanos query \
--http-address 0.0.0.0:19193 \
--store 10.81.100.17:30901
访问thanos-query的web地址，查看一下node_exporter中的指标：
启动一个thanos-ruler
./thanos rule \
--data-dir "/root/thanos-0.23.1.linux-amd64/ruler/data" \
--rule-file "/root/thanos-0.23.1.linux-amd64/ruler/rules/*.ruler.yaml" \
--query "http://10.81.3.8:19193" \
--http-address "10.81.3.8:10912" \
--grpc-address "0.0.0.0:10911" \
--objstore.config-file bucket_config.yaml \
--alertmanagers.url "http://10.81.3.8:9093"
在启动是需要指定altermanager地址，并配置好rule文件，rule文件格式如下：
groups:
- name: node
rules:
- alert: xxx
- aletr: xxxx
配置alertmanager告警，这里我选择使用钉钉群机器人告警，需要用的一个第三方的插件
在alertmanager中将receiver指定为dingtalk插件的地址即可：
route:
group_by: ['alertname']
group_wait: 30s
group_interval: 5m
repeat_interval: 1h
receiver: 'web.hook'
receivers:
- name: 'web.hook'
webhook_configs:
- url: 'http://localhost:8060/dingtalk/webhook1/send'
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'warning'
equal: ['alertname', 'dev', 'instance']
当然我们需要在dingtalk插件中配置机器人的相关信息,告警效果：
通过grafana展示一下thanos-query的数据，在grafana添加一个prometheus数据源，地址填写query的地址即可。
最后看一下对象存储里是否有数据，这个需要2个小时才有文件。
总结
在面对多K8S环境时，我们需要在每个K8S集群中通过helm安装prometheus和thanos-sidecar。你可以选择将不同环境的指标写到不同的bucket中。然后我们只需要一个granfana、thanos-query（可以组建集群分担压力）、一个thanos-ruler（定义告警指标）、一个alertmanager。
