互联网测试经验和管理杂谈(讲讲自动化)

    互联网测试工作,无非两大块,质量和效率,说起效率呢,往往很多人就会想到一个词----自动化。测试自动化在网上一搜,无数相关文章会告诉你接口自动化啊,UI自动化啊,XX自动化啊,笔者甚至见过测试要自动化一切啊。。。每当看到这些,笔者就知道,写文章的人都是没有真正思考过人,人云亦云,毫无主见,自动化真那么厉害软件测试这个工种早就淘汰了。

    说下我对自动化的理解,自动化是一种概念,而不是仅仅是方案,它是解决测试效率的一种思路。那怎么才能借助这种思路解决问题呢,而不是争论在使什么自动化框架好啊,什么好积累啊,什么门槛低啊。。。。

    其实有了自动化思路还是空谈,必须要结合业务场景,团队人员能力等诸多方面综合考虑,下面笔者将在我司实践自动化的思路分享给大家:

    我司用户产品做自动化思路有三个大维度,包括线下测试,上线过程,线上测试。

    先说说线下测试,我们把业务场景和团队分成三个阶段,初创阶段,稳定阶段,突破阶段。这三个阶段基本能够覆盖一款互联网产品的三个主要阶段了,我们一一说来。

【初创阶段】

特点:(产品)方向不稳定,功能和ui变化大。(人员)技术能力弱,全靠测试case补。

解决方案:这个阶段啥自动化方案都白扯,你根本没时间做技术工作,就算有也白做,后续肯定要大改,投入产出比太亏。那怎么办,我们除了加人没有更好的方案了吗?非也,对于土豪公司来讲,加人当然不在乎,但是一般初创公司很难在没看清产品发展的情况下贸然扩大测试团队。笔者是这样做的,让所有测试工程师接不同项目的测试工作,也就是让每个人都做全能选手,然后大家一起分析,哪些项目或业务重复性大,然后固话这块业务的测试case及人力安排,固话的好处是这些case除了测试也可以让产品和研发一起测试,这样团队每个人都是qa,而qa就可以专门去做变化较快的业务。你看看这块我们用到任何一种自动化框架和理论,但是效率是不是也提升了呢,再次强调,自动化是思路,不是方法。

【稳定阶段】

特点:产品大方向及功能已经明确,虽然迭代频繁,但是不会大改。

解决方案:将已经稳定的业务自动化掉,具体选用什么框架,根据各自技术栈来决定,笔者写过php,java的(顺便提一句,自动化框架总有一天要自己写,后续我会说到)。将稳定的业务先把接口自动化搞定,在提测阶段和上线阶段使用,保证研发提测质量和上线质量,qa只关注新功能就好。当稳定阶段业务发展一段时间后,你就会发现新功能/接口的测试量也越来越多,使用自动化框架添加case已经非常耗时了,而且case的编写完全取决于工程师自己的能力(良心),因为同一个case不同人写的力度粗细就会差距很大,有的时候大到case能不能起到作用。所以这时候就需要自动化case的标准化规范,那这个规范怎么写呢?我们写个wiki放上去,跟工程师说,都按这个写,写错打屁股?这无论从执行层面和管理方面都不可行,这时候笔者主导开发了一个自动化case编写平台,接口的入参,接口名填上去就好,针对返回值的校验把主流的case检查方法(也就是assert这些)做成选择项,添加case的工程师只要选择对于某一个自动的检查方法就好,方法比较多,比如:value的类型判断,是int,还是string,还是其他,key和value是否存在,value值是否大于/小于/等于等的判断。这个平台开发后把工程师添加case的时间基本可以忽略不计了。

【突破阶段】

    一般能到此阶段的公司,无论公司业务还是团队,基本已经成型了。笔者看到走到这步的创业公司并不多。这个阶段测试的质量保证怎么做,自动化用什么样的思路做呢?这时候需要的是整体性的思维考虑了,这块笔者展开说就比较多了,我先贴张图,说下现在笔者所在公司做的事情,后续详细再讲。


简单说下这几个平台作用:

解耦平台:这个是笔者公司针对测试环境经常出问题做的,主要解决下游测试环境有问题的情况,也能在上游进行顺畅的测试。

自动化添加平台:上边有介绍,目的是减少自动化添加的成本。

接口diff平台:线上第一台和线上服务的接口diff,目的是在保证数据相同的情况下,新代码和线上老代码相同接口返回数据是否一致,验证即将上线的代码不会影响老业务接口。

上线确认平台:这是从管理角度出发做的,让研发和qa对上线有变更的文件意义确认,确保研发和测试理解一致,解决研发和测试因为沟通不全面的问题。

线上服务接口监控:线上第一时间发现接口问题的利器

问题定位平台:当监控发现一个接口报警之后,qa往往会跟研发说,xxx有问题了,研发还要一顿查,是机器问题,还是服务问题,还是线上代码bug。问题定位平台能够模拟研发查问题的思路,在报警的同时直接告诉研发问题出在哪,这样很快就能修复上线了。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,445评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,889评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,047评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,760评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,745评论 5 367
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,638评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,011评论 3 398
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,669评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,923评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,655评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,740评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,406评论 4 320
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,995评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,961评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,197评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,023评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,483评论 2 342

推荐阅读更多精彩内容

  • <<互联网敏捷DevOps和自动化之5.持续集成>>持续集成的价值是什么?对于开发和测试人员又意味着什么呢?1.1...
    燕京博士阅读 2,776评论 0 5
  • 以下文章转载自知乎,暗灭-京华九月秋近寒,浮沉半生影长单. 暗灭 京华九月秋近寒,浮沉半生影长单 10,850 人...
    ve追风_685b阅读 4,081评论 1 15
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 171,431评论 25 707
  • 艾美是我大女儿的好朋友,她们两个小朋友在一起玩,我自然就和艾美的妈妈熟识起来。艾美的妈妈是一个非常漂亮的女人,她身...
    讨讨阅读 313评论 0 0
  • 一、三大盲点 1、先考研再择业 欠缺对专业本身的认识 2、一味考研,忽略全面发展 你积累了多少信息量,不仅仅知识,...
    贵族没有借口阅读 136评论 0 0