前段时间给大家分享了敏捷运维的一些概念和案例，非常眼馋微博的DBA能喝着茶看着大部分故障一个个被自动处理掉，研究了一下发现实现起来并不难，我做了一个案例给大家分享：

案例简介：Mysql主从复制中会经常遇到同步失败（原因很多，不阐述了），现有监控工具无法探测到，每次clecklist的时候会发现可能已经停了好几天，重启同步进程90%情况下是有效的，基于上述原因，做了一个脚本定时监听同步进程，出错后发邮件并尝试修复，修复结果再发邮件通知。

适用范围：     服务器进程奔溃（重启进程）、CPU内存过高（重启进程）、空间不足（扩文件系统）、系统日志中特定异常等等经常发生的且需要人工干预的已知问题或每天需要做的checklist

工具：     脚本语言(示例为shell)

效果：     大大降低管理员人工运维工作量，能够较为精确的统计故障发生频率和时间，以及是否被自动修复，具有一定概率可以在用户报修前解决问题。

目标：     原则上可替代绝大部分checklist，看着故障一个个出现又一个个被修复，大大提高管理员的幸福指数

Tips:        再贵的工具也不是万能的，不如有针对性的脚本来的可靠；将运维经验提炼成类似的自动化脚本可以大幅提升一个运维团队的运维质量和效率

自动处理流程：

shell脚本示例：

#!/bin/sh
# Provides: Sam Zhao
# Version:1.7
# MySQL slave process monitor and auto fix
# Usually this is put in /etc/scripts
# crontab time: */10 * * * * 十分钟执行一次
# mailx support
#===================
# Parameters
user=******
password=******
host=******
email=****@********.com
logfile=/tmp/slave.log
flagfile=/tmp/slaveisrestarted
# 执行show slave status, 将关注的数据筛选出来存入临时文件$logfile
mysql -u$user -p$password -h$host -e "show slave status\\G;" | grep -i running > $logfile
# 查询临时文件，输出结果判断进程是否正常
if [ `cat $logfile | grep -i Slave_IO_Running: | awk '{print $2}'` = Yes ]
 then
    echo "slave IO process is OK"
else
#邮件通知出错时间，暂未发现过IO process错误，需要人工干预
    echo "slave IO process is error at `date`"|mailx -s "Alarm info from $host" $email
fi
if [ `cat $logfile | grep -i Slave_SQL_Running: | awk '{print $2}'` = Yes ]
 then
    echo "slave SQL process is OK"
#进程已正常，如存在出错标签，说明问题已修复，发邮件告知已自动修复
  if [ -f "$flagfile" ];
    then
      rm -rf $flagfile
      echo "slave SQL process is fixed automatically"|mailx -s "Alarm info from $host" $email
  fi
#进程不正常，如存在出错标签，说明问题不可被自动修复，发邮件告知需人工干预
else
  if [ -f "$flagfile" ];
    then
      echo "slave SQL process is error and cannot to be autofixed"|mailx -s "Alarm info from $host" $email
#进程不正常，如不存在出错标签，说明问题第一次发生，尝试重启进程
  else  
      mysql -u$user -p$password -h$host -e "stop slave;"
      sleep 5
      mysql -u$user -p$password -h$host -e "start slave;"
#创建出错标签，发邮件告知自动处理中
      touch $flagfile
      echo "slave SQL process is error at `date` and tried to restart"|mailx -s "Alarm info from $host" $email
  fi
fi
#删除临时文件$logfile
rm -rf $logfile

再举一个日志检查的例子：

定期检索当天的java日志，筛选将含有OutOfMemoryError的语句输出到临时文件，判断文件大小是否 > 0 kb，如果返回ture，表示该java主机发生内存溢出，一般是线程太多，资源没有被回收导致，可以立即重启服务进程，每个过程发邮件告知管理员，执行完毕删除临时文件。

内存溢出后会造成服务器访问不稳定，用户访问慢，在多台机器负载均衡的情况下，重启其中一台对用户无感知，如果10分钟检查一次，用户可能还没发现问题就解决了，一般这个问题几周发生一次，一个小脚本完全就搞定了。

当然如果一天内频繁收到邮件在自动修复，肯定就是前一天发布的程序问题或者访问量达到瓶颈，需要人工介入了。

原创作品，转载请注明出处  http://www.jianshu.com/p/61f367886714

email    sam.z.s@163.com