性能测试的时机

最近接触了一个团队。在查看APM的时候发现团队交付的服务响应时间超长,随即去性能平台找性能测试执行留痕的过程中发现已经很久没有做性能测试了,就这个问题和团队开发负责人、团队测试负责人进行深度讨论,发现两人对性能测试的必要性提出了质疑,理由也很简单APM都能发现问题,为什么还要做性能,APM发现慢了,就安排迭代改进就好了,没有必要再投入精力做性能测试了。

性能的闻道先后

测试其实是一种有效保障交付变更质量的保证方法,那么反过来看不保证交付质量可以吗?答案其实是可以,这样就会导致不良质量成本的出现。举一个非IT的例子,一个生产电风扇的厂商如果不做质量保证,流水线生产出来的电风扇就直接上市销售。我们假设流水线生产的电风扇的良品率是90%,一台电风扇生产成本是售价的50%。一台电风扇从生产完成到售卖到用户手中包含了包装、运输、营销等一系列的过程,这个过程总费用是一台电风扇售价的50%。那么如果这个电风扇生产厂商1个月生产10万台电风扇,每一台售价100元,那么要是没有质量保证,这一个月不良质量造成的成本就是10万台90%100元,结果就是900万的不良质量成本的损失。如果一切都不改变,仅仅是在流水线生产完成后加上质量保证环节,那么至少可以可以不让质量问题的产品流入市场,因此不良质量成本就减少了450万。
那么我们再回到我们软件的系统变更过程,测试在制品过程中越早的投入,就可以越早的发现质量问题从而减少不良质量成本。在功能测试活动中我相信所有人都能理解,所以缺陷逃逸率几乎是现在每一个团队都要度量的指标。为什么到性能测试就会有人本末倒置呢,当生产发现服务相应慢的时候,就是性能缺陷的逃逸,也是制品团队交付了不良质量的变更。也就是说性能测试在前,APM监控在后,不做性能测试使得一些性能缺陷逃逸,虽然APM发现了问题,但是也是事后的手段,同样对用户的使用造成了影响,这也造成了不良质量成本。

性能测试的开展时机

随着现在技术的发展,DevOps包含饿了越来越多的内容,DevSecOps、DevPerfOps等等Dev{}Ops就变成了每一个角色讲故事的通用范式了。那么无论叫什么,性能是任何产品交付过程中无法逾越的特性,也是八大软件质量特性中的一个,保证产品的性能效率质量特性的方法性能测试就是必不可少的一个环节。
在10年前每次有性能测试的需求测试小伙伴都会认为是一个大任务,需要很多天很多投入去验证,也相对应的让性能测试变成了一个很难做的任务。那个时候很多大规模公司都有专属的性能测试团队,性能测试团队在这个那个测试团队中的地位还是相对较高的,话语权非常重,尤其是在银行类系统的交付团队里。随着容器化的不断普及,被测环境和测试工具的部署可以在分钟级交付,性能测试已经降低了很大的门槛,节省了很多成本,这也是为什么很多互联网大厂能够实现的性能测试常态化的基础,那么性能测试的开展时机就是任何时机,只要有需求就可执行、可验证、可度量、可优化。
在测试领域,互联网远远领先于其他行业,那么在全部测试团队推行常态化的性能测试常态化估计还需要很长的一段路要走。既然不能马上进入高速路,性能测试的开展时机仍就是一个需要多方面考虑的问题,当然也是按需的进行,也不能随心所欲的投入。那么什么时候就应该是需要性能测试开展的时机呢?如下几点出现任意一种情况,都应该开展对应业务流程的性能测试,除非该业务并不关注性能表现:

  • 有并发业务访问模式,并且第一次在系统中交付
  • 单接口测试响应时间超过1秒钟
  • 3个月没有对系统关键业务流程或者并发业务流程做性能评估
  • 被测系统业务数据增长1个月内超过预期增长速度1倍以上
  • 其他明显会影响性能的变更或者基础数据的变化

当如上情况出现的时候,我们就应该立即按照预期的数据规模、访问规模、并发规模完成性能测试,给出优化建议。如何做性能测试https://blog.csdn.net/crisschan/article/details/114777321有详细的内容,就不再做重复说明了。

总结

《史记·鹖冠子》记载,魏文王问扁鹊:“子昆弟三人其孰最善为医?”扁鹊曰:“长兄最善,中兄次之,扁鹊最为下。”魏文王曰:“可得闻邪?”扁鹊曰: “长兄于病视神,未有形而除之,故名不出于家。中兄治病,其在毫毛,故名不出于闾。若扁鹊者,镵(chán)血脉,投毒药,副肌肤,闲而名出闻于诸侯。”
所以,APM是事后,性能测试是事前。性能测试是“治未病”,否则APM发现问题也是性能缺陷的逃逸,也会造成不良质量成本。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,313评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,369评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,916评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,333评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,425评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,481评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,491评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,268评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,719评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,004评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,179评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,832评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,510评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,153评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,402评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,045评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,071评论 2 352

推荐阅读更多精彩内容