一千零一夜 第一夜

一千零一夜 第一夜


北京

大家好,我是PA集团的运维总监,管理着规模不大的IT组,努力保证各种系统稳定运行,PA公司是位于北京西二旗的一家IT公司,主要服务于保险公司,基本已经覆盖了国内百分之80以上市场份额。即使是在不被重视的IT部门,我也想打下自己的一片天地。今夜是无眠的第一夜,欢迎到来。
现在是凌晨三点钟,欢快动感的歌曲从手机中倾泻而去,IT有句话如果你想毁掉一首歌就把它设置成告警音乐吧。监控系统就开始疯狂告警,内部机房温度过高,看IT群,已经有同事赶去现场了,我也赶紧起床奔去公司。科比说:你知道凌晨四点的洛杉矶是什么样子吗?不好意思,北京的夜晚基本无眠。
来到公司,几个同事已经在处理故障了,现在机房温度已经达到了35度,在冬天有这个温度确实让人感觉温暖,但是如果出现在了机房这种地方,一切就显得不那么美好了。
为了保证温度不在升高,我们关闭了一些不重要的业务和服务器。“谢天谢地”,我心里这样想。去年也出现过类似的问题,当天早上起来,电话就疯狂的响。各种业务部门反馈说系统不可用了,而我并未收到任何告警,(很遗憾当时我们的告警系统,就安装在内部机房服务器的某个虚拟机上。)来到公司打开机房问,发现温度已经热的不行了,还是空调制冷损坏,这次故障好死不死的让核心数据库服务器造成了损坏。多个内部业务没了数据库还玩个毛线,虽然进行了紧急恢复,但是业务还是中断了2个小时。
后期分析此次事件,空调制冷应该是凌晨3点出现了问题,导致内部机房温度过过高,但是当时的告警根本就没有记录服务器硬件设备的温度,在3个小时后,温度已经到达极限,造成服务器硬件设备损坏。当天一共由于温度过高造成了8台服务器宕机和两台设备损坏,当然影响最大的还是这台数据库。
为了杜绝此类事件,我们进行各种监控温度的测试,(也许你会问为什么不从根本解决空调的问题,很遗憾解决空调问题成本较高,这个成本是时间成本、业务成本、金钱成本、人力成本等等的,总之就是现在公司情况并不适合更换空调,当然空调问题我们也做了规划。)OK继续监控问题经过各种服务器硬件测试和网络设备硬件测试,也考虑通过树莓派自己写一个硬件监控设备来进行监控,经过各种方案的测试,最终我们用50块钱搞定了,买了两个小米家庭温湿度监控小设备,机房的各个角落放了一个,每个人手机开个APP实时告警实时查看(PS后来我们家也买了两个,还买了个烟感效果同样很好。)温度监控的问题就这样搞定了,当然这只是个临时解决办法,但这确实起到了实际作用。今天出现类似问题的时候,我们第一时间接收到了警报赶往现场处理,未造成实际业务影响,这对于我们来说已经谢天谢地了。处理完所有问题已经接近凌晨5点了,也许你会说这种接近方式是不是太low了,我们公司用的某某监控,我们有NOC我们基础施舍很稳定,但是我想说,每个公司的IT环境都有各种各样的问题,所以需要我们灵活的去处理所有的挑战,不要让一个坑绊倒我们两次。
在公司门口早点摊服务员熟悉的目光中,我们该吃早点吃早点,该回家睡觉回家睡觉。而我忙碌的一天又开始了。


第一夜结束。

我是EC君,如果你喜欢我的文章,请帮忙点个关注!点个喜欢吧!
也可以点击作者信息,扫描微信二维码关注我的个人微信公众号。
你的鼓励将是我们共同进步的源泉。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342