项目 | 内容 | 描述 |
---|---|---|
上线目的 | 服务迁移 | 服务从阿里云迁移至华为云 |
上线时间 | 两次上线 | 服务上线: 2019-12-07 00:00-08:00 流量切换: 2020-01-10 00:00-08:00 |
环境设计 | 服务结构 | 调整了服务部署结构,满足了高可用 增加了全领域监控覆盖和告警 调整了资源分配,提高了利用率 数据服务改用RDS、DDS和Redis服务 MongoDB去掉了分片 |
上线准备 | CI/CD流程 | 重新构建了完整的CI/CD流程,以及发版通道。 |
上线准备 | 功能测试 | 在测试环境、类生产环境和新生产环境 均完成了至少一轮功能测试。 |
上线准备 | 性能测试 | 生产环境完成了基础性能测试。 |
上线准备 | 上线计划 | 设计了环境熟悉和重建计划 测试上线计划 线上切流计划。 |
上线准备 | 人员保证 | 三个阶段都完成人员分配 所有人均明晰了各自的职责 最后的流程还配备了后备人员。 |
上线准备 | 过程预演 | 预演了配置层面的切流全过程 |
异常处置 | 切流时异常 | 单场景缓慢 人员希望可以撤离 揪住查看发现是MongoDB查询慢 增加索引解决 |
最终上线结果 | 基本成功 | 有一台服务器的某个ng配置配置错误 导致该请求会转发至错误地址 排查至下午解决 |
暴露问题 | 上线流程把控不够 | 整个过程已经做了所有能做的保障 最后遗留的问题在于问题暴露后没有足够的重视 主责在测试,次责在运维和主管 |
改进策略 | 加强责任教育 增加最后撤离前的灵魂拷问 确保没有问题才能离开 增加nginx转发的可视化验证机制 |
|
总结 | 线上无小事 任何一个问题都不应该轻易放过 尤其是测试和主管人员 |
2020年第一次上线总结
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 背景: 阅读新闻 12C CDB模式下RMAN备份与恢复 [日期:2016-11-29] 来源:Linux社区 作...
- 大家可能对如下情景比较熟悉: 如果开发过SSH的web项目,启动服务器可能会比较慢,有的项目甚至需要1分多钟,甚至...
- 一、 软件测试基本概念 1 bug的概念 bug类型:defect、fault、problem、error… pr...