《SRE Google运维解密》读书笔记(01)

一、SRE组织信息

  • 2003年开始组建,7名软件工程师组成。到2016年,约1000余人。
  • 招聘:50%-60%是标准的软件工程师;40%-50%是满足软件工程师85%-99%技能,同时具备一定程度其他技术能力的工程师。如:Google是熟悉UNIX系统内部细节和1-3层网络知识。
  • 工作配比:传统运维工作上限50%,如:工单处理、手工操作;必须将50%的精力花在真实的开发工作上。必须不断度量每个团队的工作时间分配。

二、SRE方法论——主要是前2项

1、确保长期关注研发工作

  • 确保50%传统运维工作上限落实。超出部分可暂时转移给开发团队分担。
  • 8-12小时on-call期间最多只处理2个紧急事件,确保紧急事件跟进投入和事后报告质量。

2、在保障服务SLO的前提下最大化迭代速度

  • 错误预算:1-可靠性目标。如:一个产品可靠性目标是4个9,那么错误预算就是0.01%。
  • SRE团队可以与开发团队通过错误预算形成目标一致,都是在保障业务服务可靠性需求的同时尽可能地加快功能上线速度。

3、监控系统

  • 这部分书里讲得非常传统。主要就是讲输出Alert、Ticket、Log。其实这里是很大一部分运维自动化工作的起点。

4、应急事件处理

  • 重温几个名词:可靠性、MTTF(平均失败时间)、MTTR(平均恢复时间)。评价一个团队将系统恢复到正常情况最有效指标是MTTR。
  • 承载手段和优先级:自动恢复工具>playbook>船到桥头自然直。
  • 运维手册是人工处理的关键手段,同时要通过灾难恢复演习培训团队成员。

5、变更管理

  • 70%的生产事故由变更触发。
  • 变更管理的最佳实践是自动化。
  • 自动化要完成:1)渐进式发布;2)迅速准确检测问题发生;3)安全迅速回退。

6、需求预测和容量规划

  • 自然增长需求预测模型,类似于配置手册,说明不同容量规模下,应该提供的资源配置,以及对应的计算方法;
  • 非自然增长的需求来源的统计。这一点通常系统化考虑得较少。例如:新功能上线、商业推广等特殊活动;
  • 周期性压力测试。主要目的是为了基线校准和检验。通常大伙懒癌发作,默默地无视了。

7、资源部署

8、效率和性能

最后这两章实在看不出要说什么,其实都是第6点衍生出来要做的2件重要的事,可能是想重点提一下吧。

思考

这章的理念拿到电信行业的运维上,关键障碍还是运维人员能力转型的问题。不同于互联网产业,运营商本身积累了大量的传统运维能力模型的员工。哪怕外包给第三方的运营商,这些提供管理服务的厂商也同样是以传统运维能力模型为主。运营商外包只是降低风险和改良成本的有限优化手段。根本上的运维组织能力模型决定了运营商做devops,在能力基础上存在巨大的GAP。既没有软件产品研发经验,也没有对应的人员和管理团队,有的是传统运维人员存量(对于有着完善员工保障体系的国家来说,甚至是包袱)。那么,如果devops是业务敏捷的必经之路,运营商应该怎么办?后面咱们跟着这本书一点点来讨论。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,133评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,682评论 3 390
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,784评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,508评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,603评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,607评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,604评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,359评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,805评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,121评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,280评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,959评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,588评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,206评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,442评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,193评论 2 367
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,144评论 2 352

推荐阅读更多精彩内容