104事件

昨天遇到了一件感触很深的事情,把一个不是问题的问题当成问题认真严肃地对待了一个下午,甚至到晚上七点半才"解决",用一句歌词来表达我明白怎么回事儿时候的心情就是——最后知道真相的我,眼泪流下来!

随后,在朋友圈发了一个状态——被坑的有点惨,还是*哥靠谱,go(回家)。(*哥是同事C)

为什么说被坑呢?首先,我能够百分之一万的确定,我的修改和出现的问题一毛钱关系都没有,我只是在精简参数,而必须的参数以及取值都没变,可选的参数及取值更是无关紧要。其次,修改完调试,发现出了问题,于是我以极其虔诚认真的态度在解决一个问题,不了解真相之前我确实把它当成问题的。

为什么说有点惨呢?其实有点夸张了一下,今天周五本应该早点下班回家的,而且更是答应了老婆早点回家,结果没有,心里不舒服。

最初遇到这个问题时,我就按照通常的思路去分析日志和定位代码。这个问题的表现很简单,调用基础服务ECS的REST API,返回的错误信息说"the flavoerID xxx not found"(找不到),基本上就是调用基础服务时ECS镜像ID用错了。于是我就去配置文件中查找另外一个ID,换了之后发现这个ID连前台检查都通不过,接着又看了一通,这个流程前后看了一遍,以前这个地方都没有出过问题,因此显然这个ID更是不对,于是又确认了一遍测试给我的自动化脚本中的镜像规格ID,又换回去。这个最初的规格ID对应的问题自然不会消失,于是我就开始怀疑了,是不是基础服务ECS的问题,或者是OPENSTACK的Glangce出了数据损坏或者丢失,导致这个原本应该存在的镜像规格ID不见了??

为什么第一次遇到问题时没有这样怀疑呢,因为这个是类生产环境,从整个框架部署调通后一直稳定运行(不像beta环境,用的物理机东拼西凑,各个服务老是停工拒绝服务),从来没有过"乱七八糟"的问题,不太有理由让我首先怀疑这里。既然怀疑是基础服务的锅(背锅的锅,后来笑哭),接下来就去找团队的同事C对此事,问我们能不能查基础服务的镜像服务,看看到底有没有这个规格ID,同事C说我们没有xxx的权限,需要找到对应的管理员才能查看,而彼时已经是周五的晚上七点了,意味着大部分人都早点下班回家了。

怎么办?人找不到,第二天周末,这个问题不解决,一直到周一都感觉是个事儿(会别扭)。

于是回到工位,前前后后又下发几次创建,看了几遍日志和代码,问题依旧。

办公上的玩具沙漏,漏了几个回合。

此时已经无计可施,发现同事C还没有走,就又过去了解一下创建VM时这个镜像规格ID的使用情况(我们服务使用的镜像是同事C制作并上传到镜像服务的)。我们一起看了初始配置文件中的规格ID,以及我创建时使用的规格ID,配置文件中规格ID不止一个,我用的默认的那个,在数据库resspec表中也有这条记录,初步看起来也没啥异常。

于是进一步查看,同事C说,配置文件和resspec表中有记录还不行,其实还有一处需要修改,就是104。

实际上除了上面两处记录,还有一个resspecattr的数据库表,这三个地方有一个共同的属性,就是规格ID,第二个数据库表还有另外一个字段,这个字段的值必须是104才行,是104传给ECS它才认可这个规格ID真正有效。

而我最信任,最没有任何一丁点儿怀疑,使用的出问题的规格ID,所在表格记录中相应字段的值不是104。

真相终于水落石出。

此处省略一大段,有些事情不适合发出来(毕竟只能对事不对人)。。。

这件事情对我触动很大,周末的早晨竟然睡不着,还在想着这个事儿,原谅我经历这类的事情少,毕竟它没有对得起周五下午的时间。

因为真相和104有关,我把它称为个人职业生涯历史上的104事件(一般国际大事用发生的时间来表示该事件,这里的104不是指时间,而是一个还原真相的值)。

最后,我该信任谁呢?!或者该信任什么呢?!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,185评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,652评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,524评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,339评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,387评论 6 391
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,287评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,130评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,985评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,420评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,617评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,779评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,477评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,088评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,716评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,857评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,876评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,700评论 2 354

推荐阅读更多精彩内容