闲话IT运维---学习Google SRE不易

系统正常,只是该系统无数异常情况下的一种特例
          --- 摘录自《SRE Google运维解密》

最近Google SRE很火,我们内部给每个人都配了一本《SRE Google运维解密》,希望大家能熟读,从中能取些经。

SRE的的几个核心方法论:
1)确保运维人员长期关注研发工作;
2)在保障服务SLO的前提下最大化迭代速度;
3)重视监控系统;
4)应急事件处理,重视运维手册维护以及on-call机制;
5)变更管理自动化;
6)合理对需求进行预测和对容量进行相应规划。
看完第一章 SRE方法论后就知道google SRE并不是那么容易学习了。

SRE是另一个很火的概念devops在google的最佳实践,结合google的特点进行了扩展。在SRE的几个核心方法论中第一条最重要,是做好其他几个方法论的前提和驱动力。一般运维(ops)和开发部门(dev)是独立的两个部门,这两个部门有截然不同的目标述求,ops希望稳定压倒一切,系统上线后一百年不变才好;dev部门希望尽快完成业务部门提出的需求,巴不得随时随地变更上线。这个矛盾导致两个部门“不对付”,是IT内部不和谐声音的来源,处理不当会产生严重的办公室政治,对工作和团队建设都严重不利。(这种情况可以参考运维界难得的一本小说《凤凰项目-一个IT运维的传奇故事》中关于运维部门和开发部门斗智斗勇、互黑的故事,和现实中碰到的真是一样一样的,说明ops和dev的矛盾和国别无关,人种无关)。

Devops希望的是dev和ops尽量的融合,一般是两个部门尽量的融合,譬如,归属一个团队、由同一人领导、集中办公等等。google直接一步到位---dev和ops是一个人(合体了),并且SRE 至少50%精力用于花在真实的开发工作上。招聘时以开发人员的要求来招聘SRE,SRE的招聘要求原则上比普通业务开发人员还要高,既懂开发又要懂运维。这样的好处是显而易见的,一个人身上哪个地方疼只有自己最清楚,运维过程中的痛点开发人员是不知道的,运维人员提出来开发人员也不一定能切身体会,做一个完全好用的运维功能出来。

现在的开发更多的是业务开发,简单点说是用一堆if/else逻辑驱动数据将业务逻辑实现出来,很多业务开发人员对系统的健壮性、可维护性根本不了解,也没能力了解,开发过程中也不会考虑到(业务功能都做不完,哪还有空去考虑健壮性啊~)。这就需要运维开发人员补充进来,从系统的冗余、应急、告警、监控等多维度去给业务系统打补丁,提高系统的稳定性。这部分工作现在很多场合下是欠缺的,因为不能直接产生价值也导致管理层重视不够。

当运维人员有开发能力(如同一个木匠有了趁手的斧头锯子),并且能有一半以上的精力投入到运维功能的开发中,把业务系统再穿上一件运维功能(健壮性、可用性、可维护性方面)的铠甲,那么不仅仅会提升系统的可用性,而且能够更好的配合业务开发人员实行持续集成(CI),持续部署(CD)这些高阶玩法,否则系统本身已是弱不禁风,怎么经得起花样翻新的折腾!

所以,想学习SRE,首先看看能否做到SRE核心方法论中的第一条,如果运维人员还是一些仅仅只会看看告警、查查SQL,那么很难学到SRE精髓。当然即使做不到,其他方面也可以参照学习,这本书上还是有很多其他值得借鉴的部分,譬如方法论的第二点,制定好SLO,根据SLO决定上线频度(有理有据和开发争取不给上线:));方法论第四点建立告警监控的轮值制度等等。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,456评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,370评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,337评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,583评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,596评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,572评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,936评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,595评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,850评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,601评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,685评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,371评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,951评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,934评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,167评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,636评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,411评论 2 342

推荐阅读更多精彩内容