简单的说明

背景

在开发测试容器云环境中，常常出现节点磁盘占满，IO过高，节点连接数过多的情况，一般是节点出现里问题如故障/离线，节点使用人员采取去处理，极大影响了开发测试效率。鉴于此讨论了监控届知名的zabbix部署的可行性。

目的

1. 每一个版本的开发迭代，需要重置虚拟机，需要部署简单快捷
2. zabbix组件（包含依赖包）避免影响现有软件运行依赖版本，非侵占
3. 自定义告警规则及通知方式

解决方法

1. 现有的zabbix部署方式有三种：源码部署，package部署，容器部署。为满足目的1&2点，这里采用docker安装，极大减少了工作量及部署过程中的各种异常
2. zabbix可以通过脚本方式自定义告警规则
3. zabbix常见的告警媒介有：电子邮件，短信，脚本等。其中脚本方式极大提高了通知方式的灵活性，例如微信通知，webhook通知等

实施

部署

Zabbix 系统由以下各种独立的模组组成。

• Zabbix Server：核心组件，负责获取agent数据，触发报警并发送告警给用户
• Web Frontend：web展示
• Database Storage：与server及web frontend交互，存储配置及监控数据
• Zabbix Agent：部署在被监控的对象上，收集本地信息并发送到server
• Zabbix Proxy (非必要)：从一个或多个agent获取监控数据再发送消息给zabbix server，减轻了单zabbix server的工作负载

在本地监控主机数量不多的情况下，我们采用不含proxy的简易方式部署docker集群（部署方式）

1. zabbix-appliance部署链接

docker run --name some-zabbix-appliance -p 80:80 -p 10051:10051 -d zabbix/zabbix-appliance:tag

zabbix appliance内置MySQL数据库，zabbix web

2. zabbix-agent
   使用k8s编排以daemonset部署到集群每个节点

apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    daemonset: zabbix-agent
  name: zabbix-agent
spec:
  selector:
    matchLabels:
      daemonset: zabbix-agent
  template:
    metadata:
      labels:
        daemonset: zabbix-agent
    spec:
      containers:
      - name: zabbix-agent
        env:
        - name: ZBX_HOSTNAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: ZBX_SERVER_HOST
          value: "192.168.131.29"  # server地址
        image: zabbix/zabbix-agent:alpine-4.0.10
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 10050 #使用hostport方式暴露地址
          hostPort: 10050
        resources:
          limits:
            cpu: 100m
            memory: 300Mi
          requests:
            cpu: 100m
            memory: 100Mi
      hostNetwork: true
      dnsPolicy: ClusterFirstWithHostNet
      serviceAccountName: psp-privileged # serviceAccount保证pod对宿主机的有访问权限

zabbix web登陆账户/密码默认为Admin/zabbix

zabbix配置

添加告警媒介

这里我们使用里脚本类型的告警媒介，好处是自定义告警方式，脚本使用比较灵活，可以定制化自身需求。

1. 上传脚本
   登陆zabbix server，zabbix默认会从路径（/usr/lib/zabbix/alertscripts/）读取脚本文件; 同时我们必须未该脚本赋予可执行权限

cd /usr/lib/zabbix/alertscripts/
chmod +x zabbix_webhook.py

脚本样例：

#!/usr/bin/python
import json
import urllib2
import sys
import re

# 指定alarmWebsite，供定位使用
alarmWebsite = "https://alert-system.com/alerts/1234"
webhook = “https://hooks.slack.com/services/****”

notifications = {"Not classified": ":go:",
                 "Information": ":conga_parrot:",
                 "Warning": ":doge:",
                 "Average": ":trollface:",
                 "High": ":ghost:",
                 "Disaster": ":smjy:"}

def get_data(subject, message, alarmLevle):
    data = {"username": "Zabbix %s Info" %alarmLevle,
            "text": "%s\n%s\n<%s|Click here> for details!" %(subject, message, alarmWebsite),
            "icon_emoji": notifications[alarmLevle]}
    return data

if __name__ == '__main__':
    alarmSubject = sys.argv[1] #{ALERT.SUBJECT}
    alarmMessage = sys.argv[2] #{ALERT.MESSAGE}
    pattern = re.compile(r'Severity: (.*?)\s')
    alarmLevle = pattern.findall(alarmMessage)[0].strip()  
    message = get_data(alarmSubject, alarmMessage, alarmLevle)

    req = urllib2.Request(webhook)
    req.add_header('Content-Type', 'application/json')

    response = urllib2.urlopen(req, json.dumps(message))

2. 创建报警媒介
   在"管理"-->"报警媒介类型"-->"创建媒体类型"中，填入我们的脚本信息。目前脚本信参数支持三种

除上述三个“宏”，zabbix还支持其他“宏”参数，请查看zabbix官方在线帮助手册（zaabbix宏列表）

3. 测试脚本
   通过zabbix脚本测试功能，自动触发告警，查看脚本是否可执行

   
   

4. 关联用户
   如果想让某个zabbix用户接收到从告警媒介发送过来的报警信息，那么需要把用户和对应的告警媒介关联起来
   在"管理"-->"用户"中，以Admin为例

   
   
   
   

   在报警媒介中添加新的报警媒介，根据需求个性化配置告警信息

   
   
   
   点击“添加”后，确认无误后点击“更新”。此时如果有报警发生，报警通过告警媒介发送到admin用户。
   

5. 启用告警通知
   在"配置"-->"动作"中，启用默认的告警动作，或者新建动作

   
   

6. （可选）告警内容定制
   步骤5中的告警时系统默认的，如果想定制化告警通知信息，可以编辑告警信息/告警恢复信息/告警更新信息等模版
   

   
   相关参数可以通过zaabbix宏列表获取

添加主机

通过与被监控主机上的zabbix agent建立通信，将主角纳入监控范围。

1. 在"配置"-->"主机"中，添加主机信息

   
   

2. 填入相关信息，群组可以使用新创建的或者使用现有系统预置分组。agent代理程序的接口就是主机IP+agent开放端口（默认10050）

   
   

3. 添加模版，这里选择里基本的linux监控模版，也可以自定义其他监控模版

   
   

4. 添加监控模版，最后添加主机完成

   
   

5. 当可用性ZBX绿色时表示添加成功

   
   

讨论

自动发现

当环境中有很多主机时，配置主机自动发现代替手动添加主机，极大减轻工作量。该方式时zabbix server主动发起，定时扫描网络中指定范围的IP设备，如果某一设备上有zabbix agent服务，那么该IP设备就会加入到监控范围内

1. 创建自动发现规则
   在"配置"-->"自动发现"中，选择Local network或创建自动发现规则。依次：
   填写监控IP地址范围，监控间隔，检查规则（这里选择zabbix,键值system.uname）

   
   

2. 查看自动发现主机
   发现主机成功后，在"监控中"-->"自动发现"中会出现发现到的主机

   
   

一般在zabbix部署时，批量添加主机时使用主机发现功能，添加完毕后可以关闭该功能。

与prometheus区别

zabbix是一个功能丰富，开箱即用的传统监控软件。软件部署快捷，简单，但是不满足需要特殊定制化的场景。
Prometheus不能开箱即用，需要配合使用其他软件，如Alert Manager。Prometheus具有很强的灵活性和扩展性，可以满足不同场景的特殊定制需求。

参考
Zabbix vs Prometheus
Prometheus实战