反思 - 一次部署过程中的失误

自我反省.jpeg

部署失误事件发生在上周三(16/10/12),每周四发布新版本是我们技术团队的开发节奏,测试环境部署、安装、试用一切顺利,正是这样的常规顺利麻痹了自己,在正式环境服务器、iOS、Android 代码自动部署更新后,只是使用手头的 iPhone 简单测试了一下,而没有通知相关同事进行批量、全面的测试,可笑的是问题就发生在正式环境 Android 应用上。

先简单说下原因,再慢慢回忆常规部署流程中的不足及隐患。客户端测试、正式环境都是使用 HTTP 访问服务器 API, 但为了安全起见,正式环境服务器域名部署了沃通的 SSL 服务即支持 HTTPS 访问。为了让正式环境的 HTTP 链接都能自动跳转到 HTTPS 链接,就修改 nginx 配置 80 端口 (HTTP) redirect_to 443 端口 (HTTPS), 在浏览器中测试发现 javascript/css 等静态资源无法获取成功,因为浏览器不支持跟踪跳转,于是静态资源都是 301 状态。定位到问题所在,很容易找到解决方案:判断 HTTP 链接后缀为静态资源类型时直接访问即可。部署失误的原因就是在这一点上,客户端添加了 API 下载报表数据 zip 压缩包,不符合上述 nginx 直接访问的条件,于是 Android 应用下载报表数据都是 301 状态,导致所有报表都无法正常展示。

再简单描述下项目,属于企业级的迭代开发,即产品开发完成核心功能后就上线,后面的功能是边开发边上线。客户未全面内部推广,每日使用人数稳定在 300-500,为了每次在正式环境部署避免失误,就部署了与正式环境服务器、客户端相同的测试环境,测试环境服务器配置了二级子域名(仅支持 HTTP 访问),常规服务器代码部署、客户端发布都使用脚本完成,所以每周四的更新都未出现问题,对正式环境部署的紧张压力慢慢淡去,直到上周的黑色周三(下午部署,晚上爆发)。

客户在微信开发跟进交流群中反馈,一时没有反应过来,客户强调只有正式环境中的 Android 应用有问题,测试环境的 Android 应该是正常的,更是让人一头雾水,打开 Terminal 登录服务器后台查看日志,一切访问正常,是哪里出了问题呢?当时怎么也没有联想到正式环境中 nginx 修改了配置会自动 80 端口转 443 端口,手头也没有 Android 测试机,模拟器运行也正常(事后反省,认真查看模拟器 console 是可以发现问题的),直到第二天,同事发现报表数据下载时服务器响应 301,才醍醐灌顶,了然于心。把下载报表数据的 API 链接在 nginx 配置中修改为直接访问,正式环境的 Android 应用于是像虾池中张雅吴昭夫妇般温顺。

HTTP to HTTPS

在 nginx 端处理 HTTP 自动跳转 HTTPS 更多的是吃力不讨好,只有填不完的坑,不如各司其职。如果想在浏览器中给客户友好的一片绿色环保,在网页中使用 javascript 跳转更为合理,比如百度,其实百度仅域名首页访问处理的就比较复杂,为了拿到下述代码非一试就成:

$ curl -A 'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1' HTTP://www.baidu.com

<!DOCTYPE html>
<html>
<head>
  <title></title>
  <meta name="referrer" content="never"/>
</head>
<body>
  <script type="text/javascript">
    function qs(n, m, v, u) {
        u = u || D.URL;
        var t = u.match(eval('/(\\?|#|&)(' + n + ')=([^&]*)(&|$)/i'));
        if (t) {
            m = m || t[2];
            v = t[3] || v
        }
        return m && v ? '&' + m + '=' + v: ''
    }
    function fc() {
        var h = location.host,
        x = '=;expires=' + new Date(0).toUTCString(),
        y = x + ';path=',
        z = y + '/;domain=',
        l = [x, y, y + '/', z + h, z + h.substr(h.indexOf('.'))],
        o = D.cookie.match(/[^ =;]+(?=\=)/g);
        if (o && S) for (var i = o.length; i--;) for (var j = 5; j--;) D.cookie = o[i] + l[j];
        if (window.localStorage) localStorage.clear();
        if (window.sessionStorage) sessionStorage.clear();
        setTimeout(fc, 500)
    }
    function fj() {
        var u = ('https://m.baidu.com/?' + (D.URL.match(/pu=sz(%|@)d+_d+/i) || [''])[0] + '&from=1012883x').replace(/(\?|#)&/g, '$1');
        if (navigator.userAgent.match(/webkit/i)) D.body.appendChild(D.createElement('iframe')).src = 'javascript:parent.location.replace(\'' + encodeURI(u) + '\')';
        else D.write('<meta HTTP-equiv=\'Refresh\'content=\'0;Url=' + u + '\'/>');
        D.close()
    }
    var D = document,
    d = D,
    S = !D.cookie.match(/home=s/i);
    D.body.style.visibility = 'hidden';
    D.oncontextmenu = function() {
        return false
    };
    fc();
    fj()
  </script>
</body>
</html>

/*
 * fj() 函数中的 if else 本质都在实现跳转 HTTPs.
 */

客户端的逻辑就更简单,想更安全就直接使用 HTTPS, iOS 开发者都知道 ATS(App Transport Security) 即使用最新 TLS1.2 版本的 HTTPS, 从 17 年开始苹果审核团队会将 ATS 作为强制审核项。但服务器的 SSL 服务是按年购买,目前由我来运维,之后未可知,就当前阶段而言,应用的用户体验高于一切,就果断放弃客户端通过 HTTPS 访问服务器 API。

在 nginx 端实现所有 HTTP 跳转 HTTPS,安全性、多坑暂且不论,需要 HTTP、HTTPS 两次域名解析,更耗时是肯定的。

通过这次失误,引起很多反省: 注意事项需写入文档,部署前对比检查;日常工作的注意事项与同事多交流,在出问题时大家才能一起检查可能原因;多学习别人的经验分享、最佳实践方案,这样的经验文章,网上肯定很多;最重要的一点,一定要测试每一个环节,这是最后的一道防线。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,189评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,577评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,857评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,703评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,705评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,620评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,995评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,656评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,898评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,639评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,720评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,395评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,982评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,953评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,195评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,907评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,472评论 2 342

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,594评论 18 139
  • 第一章 Nginx简介 Nginx是什么 没有听过Nginx?那么一定听过它的“同行”Apache吧!Ngi...
    JokerW阅读 32,636评论 24 1,002
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,424评论 25 707
  • 学习 Flask,写完一个 Flask 应用需要部署的时候,就想着折腾自己的服务器。根据搜索的教程照做,对于原理一...
    Cocoa_Coder阅读 17,090评论 4 56
  • “今奉天子之命,掌权为帅,你们可有信心,拒外族于千里之外!”云念骑马而上,鼓舞士气。 “有”“有”“有” “大帅,...
    木子孑孓阅读 292评论 0 0