错误的自动化测试目标 VS 建议目标

翻译整理自Dorothy Graham 和 Mark Fewster的文章
That's no Reason To Automate, 发表在Better Software, July/August 2009.

并非全文翻译,只是根据自己的理解,提炼整理了文中的相关观点。

发现更多bug

  • 目标背后的好想法
    • 测试应该发现bug,所以自动化测试应该更快的发现它们
    • 因为测试可以执行的更快,所以我们可以执行更多测试,发现更多bug
    • 我们可以对系统测试更多,所以我们应该在那些不能执行手工测试的部分发现更多bug
  • 测试质量决定是否发现bug
  • 如果最初进行的是手工测试,发现的bug应当被修复
  • 重复旧测试并不能比进行新测试发现更多bug
  • 更好的目标
    • 帮助测试人员发现更多的回归bug

在夜间和周末运行回归测试

  • 目标背后的好想法
    • 我们有未利用的资源(夜晚和周末)
    • 我们应该在睡觉的时候执行自动化
  • 要达到这个目标太简单了,只要运行测试,而不管他是否值得运行
  • 可以运行更多的自动化测试,但你需要证明需这些测试执行是有用的
  • 衡量的方法之一是对所有的自动化测试,估算对应手工执行的时间,并进行衡量
  • 更好的目标
    • 利用未充分利用的计算机资源,运行最重要的或最有用的测试

减少测试人员

  • 目标背后的好想法
    • 我们花钱在工具上了,所以应该在别处节省回来
      我们想消减总的开支,而人员的开支比较高
  • 很多manager会持这个观点
  • 当自动化引入,实际上很少出现减员
  • 相反,需要更多拥有测试脚本开发能力的人员
  • 自动化支持测试活动,而不是篡权
  • 自动化测试不等于全自动测试,需要人力开发脚本,分析测试结果,维护测试套件
  • 自动化可以提高测试执行的效率,但需要测试人员保证测试本身有效
  • 这个目的是管理的目标,不是一个适合自动化的目标
  • 更好的管理目标是确保每个人都是他们擅长执行任务。这不是一个自动化的目标,也不是降低测试成本。
  • 它可能是有效目标,但它是关于管理的,与自动化无关。
  • 更好的目标
    • 总的自动化测试成本,必须显著低于被自动化测试所节省的总测试成本
    • 这可能部分的被以下指标所衡量:帮助人们每小时所提高的测试运行数或覆盖范围
    • (这段我翻译的太拗口,大家看原文去吧)

缩短测试时间

  • 目标背后的好想法
    • 减少截止日期压力——任何可以节省时间的方式都是好的
    • 测试是瓶颈,所以更快的测试会所有帮助
    • 我们想更快的将产品发布上市
  • 这是个很危险的目标,它混淆了“测试”和“测试执行”,所以也会产生问题
  • 问题1:有很多容易的方法来达成目标:运行较短时间的测试,忽略长时间的测试,或者剪掉回归测试
  • 问题2:缩短测试时间,很容易给人一种缩短总体测试时间的错觉:而自动化工具专注于测试执行,并不是整个测试过程
  • 问题3:实际上,除了测试执行时间,还有很多因素会影响整体测试时间:自动化测试的设置和复位,确认缺陷并识别错误之处。手工测试时,你知道发现bug的上下文信息;而自动化测试只会告诉你差异之处,分析人员必须结合上下文信息,确认是否为真正的bug
  • 导致测试时间增加的重要因素是软件的质量,这取决于开发人员,而不是手工或自动化测试人员
  • 考虑维护成本:可能在第一个版本满足了目标,但是在接下来的版本中变的更糟
  • 更好的目标
    • 对于工具所支持的测试活动,减少花费在它上面的时间
    • 这对自动化来说是一个持续的目标,去改善手动和现有自动化测试。
    • 它可以通过计算指定测试活动的时间,进行衡量。

进行更多测试——重要的是质量而不是数量

  • 目标背后的好想法
    • 对软件测得越多,就覆盖的越多
    • 测试是好的,所以更多的测试更好
  • 好的测试不等于运行的测试数量,而是和所运行测试的价值有关
  • 自动化许多坏的测试,只能带来维护开销和少量回报
  • 自动化最好的测试,才能在时间和金钱方面带来价值、
  • 先从重要的部分开始自动化,当我们开始执行测试,会发现不同于计划部分的另外的测试需要进行自动化。自动化需要能够在方向上进行调整,而不必每次都从头开始
  • 自动化测试期间,开始可能需要较长的时间(相比手工时间)去自动化一个测试,因此可能导致短期内会运行较少的测试
  • 更好的目标
    • 对于最有用和最有价值的测试,自动化最适宜的数量
    • 可以用最有价值的测试部分的自动化率进行衡量

自动执行x%的测试

  • 目标背后的好想法
    • 需要衡量自动化工作的进展
    • 需要衡量自动化的质量
  • 更重要和基础的要点是,去了解目前的测试质量,而不是已经做了多少自动化
  • 如果是些没什么用的坏测试,自动化它们也没什么用(只是执行的更快了)
  • “Automated chaos is just faster chaos.”
  • 如果目标是自动化50%的测试,是否自动化了正确的50%呢
  • 多少比例的测试应当被自动化?首先要排除这样的测试:那些实际上不可能,或者完全不切实际的自动化。
  • 自动化提供了支持测试的工具,不应当简单的自动化测试。
  • 更好的目标
    1. 自动化应当为测试提供有价值的支持
    2. 可以这样衡量:测试人员有多经常使用自动化人员提供的内容,包括执行自动化测试和其他支持。
    3. 通过自动化,增加了无需手工验证的数量

你的自动化测试目标是什么?它们是好的目标吗?

  • 不要把测试目标和自动化目标混为一谈
  • 选择更为合适的目标,并且衡量你实现的程度,这样你就能看出你的自动化成果是怎样使公司受益的

下面附上相应的思维导图


错误的自动化测试目标.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,864评论 6 494
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,175评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,401评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,170评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,276评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,364评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,401评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,179评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,604评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,902评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,070评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,751评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,380评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,077评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,312评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,924评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,957评论 2 351