告警分析:如何帮助运维团队快速做出最佳决策?

「路漫漫其修远兮,吾将上下而求索」,「转身」不见得华丽,但我必须「转身」,不要安逸于现在的运维状况。

如果你运维一线人员,是否会遇到以下情况:

  • 公司所有的服务器告警消息会塞满自己的整个邮箱,如果公司的运维团队有几个人到几十人不等,当你处理邮箱中的告警消息的时候,处理一半会发现问题已经解决了,这个现象很常见,会导致工作效率的下降。改善的方法有很多,比如团队内部多一些沟通,然而沟通的成本也是非常高的。解决问题应该从源头出发,治标不治本的方法还是应该适当采取。也许你在创业团队工作,团队中只有一个人,但是也希望你能读完本篇文章,等团队壮大之后也会有帮助!

  • 单一的告警通知方式会麻木运维同学的工作思维,一天 24 小时接收的都是邮件或者短信的告警通知。我们更希望白天工作时间使用邮件、微信、APP 等轻量级的通知方式,晚上休息时间使用短信、电话等偏重的通知方式。这样不仅白天能够提高工作效率,而且能够晚上好好休息,不用担心告警疏漏。如果能有排班通知,那么就真正能「睡个好觉」了。
    如果你是运维 Team Leader,是否会遇到以下情况:

如果你是团队的管理人员,是否会遇到以下情况:

  • 团队一直在解决故障,但对系统性能没有整体的把握;你对团队、成员的工作量,工作效率没有全面的了解。你肯定不希望这样管理你的团队,不希望团队重复解决某些事情,更不希望因为这些问题让团队士气低落,觉得工作没有干劲。

  • 团队一直在重复解决某一故障,但是却因为缺少一个好的分析工具,导致无用功重复执行。比如经常收到「127.0.0.1」服务器内存使用率超过90%,严重级别高’的告警消息,通过对告警消息分析,此告警消息在本月出现频率最高,此时是否能够根据此告警对服务器做出一些硬件上的调整来减少告警的噪声?

解决以上可能出现的问题,你需要:

  • 合适通知体系

  • 合理的通知方式

  • 健全的告警分析机制

合适的通知体系 ------- 你的锅你来背

根据不同的主机组把告警发给不同的一线成员,可有效解决告警分派的问题,并且能够使团队责任划分清晰。每个人负责一部分服务器,出现问题之后,告警消息只会通知自己,避免对其他同事的工作造成干扰。那如果这位同事遗漏了告警怎么办?告警消息不被团队的其他人知晓,解决时间会存在严重的问题。这时需要一个有效的升级机制,告警在设置时间内不确认、不解决的时候,会升级到二线值班人员,二线一般都是领导级别的了,如果告警真的升级了,那你就…………。所以在第一时间接收到告警消息,第一时间解决掉是非常关键的,这时我们就需要有多种通知方式,合理的通知方式。

合理的通知方式 ------- 对的时间遇上对的人

不要在错的时间遇上对的人。 当告警消息来了,选择一个好的通知方式是至关重要的。比如白天工作时间,告警消息的推送只需要通过微信、邮件的方式。而晚上下班时间休息时间,告警消息推送可以选择短信和电话两种方式进行通知,灵活的通知方式能够达到事半功倍的效果。告警通知很及时,那怎么衡量团队的工作效率、个人的工作效率呢?根据什么标准来衡量呢?这时有一个健全告警分析机制是很关键的。

健全的告警分析体系 ------- 真正认识你的团队

好的告警分析机制能够帮助管理者分析团队整体的工作情况,根据 MTTR 作为评判标准。通过告警分析能够分析出某一告警应用某段时间内处理情况。

告警分析:如何帮助运维团队快速做出最佳决策?

根据告警内容分析也是很有必要的,能够帮助团队管理者对资源进行适当的调整,工作重心的调整。

告警分析:如何帮助运维团队快速做出最佳决策?

当然对团队成员的工作进行分析也是非常有必要的,OneAlert 对成员处理告警的分析即将上线。

健全的告警分析是一个运维管理团队必须的,我们能够在其中发现很多的团队问题,然后进行适当的调整,把团队的整体 KPI 提高,士气提高!希望本篇文章能够对你有用。

OneAlert 是北京蓝海讯通科技有限公司旗下产品,中国首个 SaaS 模式的云告警平台,集成国内外主流监控/支撑系统,实现一个平台上集中处理所有IT事件,提升IT可靠性。想了解更多信息,请访问 OneAlert 官网
本文转自 OneAPM 官方博客

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容