移动app云测试平台的对比与分析

我们都知道在测试移动app时最耗时的是在各种测试设备进行测试, 因为不论是安卓还是iOS都已经碎片化了。而云测试看似是解决这一问题的有效途径。因此选择哪种云测试平台来协助测试人员进行各种测试就成为首要问题。

我们先来看看云测试平台通常都提供哪些功能和服务。

主流的云测试平台都支持对原生native,混合hybrid和Web app的测试,这些测试包括:

兼容测试

通过在多种测试设备上安装/卸载和运行被测app,遍历app的每个界面,主要检查app是否会报错或者崩溃。有些云测试平台还会对每个页面进行截图并进行对比。

脚本测试

通过运行云测试平台工具进行录制的或者使用自动化测试框架编写的自动化脚本,实现模拟用户操作的目的,并且减少手动测试时间。

性能监控和分析

利用Android SDK提供的接口,云测试平台可以检测移动app的耗电量,CPU等资源占用率,使用的流量等信息。有些云测试平台还提供自己的SDK,整合在app中可以提供更为准确的性能指标和信息,包括线上app的性能信息以及崩溃信息等。

手动测试和人工测试

云测试平台的手动测试是指租用云测试平台的特定设备,测试人员手动登录设备进行测试。

而人工测试则是将测试需求告知云测试平台的专业测试人员,雇佣他们临时作为自己的测试人员进行测试。

持续集成

不少提供脚本测试的云测试平台都同时提供对持续集成(Continuous Integration)环境的支持。

此外不少国内云测试平台还提供以下功能:

安全测试

内测托管分发

众包测试

我们再来看看各种云测试平台对于上述功能和服务的支持情况。

由于国内外的云测试平台使用环境等因素的不同,我们分别对国内外主流的几个云测试平台进行对比。

国外主流的云测试平台:

Xamarin Test Cloud                 (https://xamarin.com/test-cloud/

TestDroid                                    (http://testdroid.com/)

Sauce Labs                                 (https://saucelabs.com/mobile/)

Google Cloud Test Cloud          (https://developers.google.com/cloud-test-lab/)

AWS Device Farm                      (https://aws.amazon.com/device-farm/)

国外主流的云测试平台对比

从上图我们可以看到一些特点:

在测试设备的数量上,Xamarin Test Cloud和Sauce Labs都是非常有优势的,虽然Xamarin Test Cloud统计的是测试设备的数量,而Sauce Labs是平台的数量;

亚马逊自己的FireOS只被自己的云测试平台支持,在国内我们也能看到类似的例子;

所有的云测试平台都支持app测试,但是只有TestDroid支持游戏测试;

对于国内云测试平台提供的人工测试,安全测试,内测分发和众包测试,国外这些云测试平台都是不支持的,需要结合别的工具和框架进行使用。不过对于手动测试,Sauce Labs和Perfecto这两个云测试平台支持租用测试设备进行手动测试;

对于云测试基础功能的兼容测试,以及脚本测试,崩溃分析和持续集成,这些云测试平台都是支持的;

只有Xamarin Test Cloud,TestDroid和AWS Device Farm支持性能监控;

对于脚本测试所使用的移动app自动化测试框架,每个平台都不甚相同:

Xamarin Test Cloud支持Calabash(iOS和Android)和自己的Xamarin.UITest;

TestDroid支持很多框架,包括支持iOS的Calabash,appium,UI Automation和 Jasmine,以及支持Android的Calabash,appium,Espresso,Robotium和uiautomator;

Sauce Labs支持自己的开源框架appium;

Google Cloud Test Lab则支持Espresso,Robotium和Robo test;

AWS Device Farm也支持很多框架,包括支持iOS的Calabash,appium,UIAutomation和XCTest,以及支持Android的Calabash,appium,JUnit,Espresso,Robotium和uiautomator。

Xamarin Test Cloud,TestDroid和Sauce Labs都有自己的移动app测试脚本录制工具,分别是:Xamarin Test Recorder,TestDroid Recorder和appium inspector。

综合来看,对于国外的云测试平台,如果侧重的是测试设备的覆盖程度,选择Xamarin Test Cloud和Sauce Labs会更合适;如果需要测试FireOS设备,那就选择AWS Device Farm;如果侧重的是脚本测试中支持的语言和框架,那就可以选择TestDroid和AWS Device Farm;如果是进行游戏测试,只能选择TestDroid;如果要远程连接测试设备进行手动测试,那就需要选择Sauce Labs和Perfecto;如果在测试过程中需要同步监测性能,就不能选择Sauce Labs和Google Cloud Test Lab。

国内主流的云测试平台:

Testin云测                         (http://www.testin.cn/)

百度MTC                           (http://mtc.baidu.com/)

腾讯优测                             (http://utest.qq.com/)

阿里MQC                          (http://mqc.aliyun.com/)


国内主流的云测试平台对比

从上图我们也可以看到一些特点:

1、Testin云测支持的测试设备数量最多,达到了600部Android和70部iOS终端的数量;但是和Xamarin Test Cloud以及Sauce Labs支持的设备数量还是有不少差距的;

2、和亚马逊类似,阿里的YunOS也只有阿里MQC才能支持;

3、和国外的云测试平台很类似,这四个国内云测试平台也都支持app的云测试,而不支持游戏测试;只有Testin云测支持游戏测试;

4、对于云测试基础功能的兼容测试,国内主流云测试平台都是支持的;

5、这四个国内云测试平台也都支持崩溃分析,不过对于性能监控,却只有百度MTC支持,而且百度MTC的深度性能测试中还可以做竞品app的性能对比;

6、Testin云测和百度MTC不支持手动测试;

7、只有阿里MQC不支持人工测试;

8、只有Testin云测不支持安全测试;对于支持安全测试的云测试平台,也没有公布是如何进行安全测试的;

9、Testin云测支持内测分发和众包测试,阿里MQC支持众包测试,其它两个云测试平台对于内测分发和众包测试都不支持;

10、对于脚本测试,只有腾讯优测不支持;而对于测试工具和框架,各个平台的支持也不相同:

~ Testin云测支持Robotium,JUnit,淘宝的Athrun和Testin SDK,其中只有Testin SDK支持iOS和Android,其他框架都只支持Android;

~ 百度MTC只支持通过自己的测试脚本录制工具录制的脚本;

~ 阿里MQC支持Robotium和增强后的appium,其中appium可以支持iOS和Android;

11、Testin云测,百度MTC和阿里MQC都提供了自己的测试脚本录制工具,分别是itestin录制回放工具,百度MTC录制回放工具和易测;

12、国内云测试平台都没有提及持续集成,不过从笔者的了解看来,Testin云测和阿里MQC应该是都支持的。

对于国内云测试平台,如果需要覆盖更多的测试设备或者需要测试游戏亦或需要内测分发,只能选择Testin云测;如果需要测试YunOS设备,那就需要选择阿里MQC;如果需要进行性能监控和竞品对比,那就选择百度MTC;如果要远程连接测试设备进行手动测试,那就需要选择腾讯优测和阿里MQC;如果需要雇佣云测试平台的专业测试人员,就不能选择阿里MQC;如果需要进行安全测试,就不能选择Testin云测;如果需要进行众包测试,那就选择Testin云测和阿里MQC;如果要进行脚本测试,就不能选择腾讯优测,对于百度MTC也不推荐。

相信通过对比这些云测试平台提供的功能和服务,以及它们各自的特点,读者在选用云测试平台时有了更多的依据。希望大家在使用这些信息作为依据时,综合考虑这些云测试平台的特点,同时可以使用它们提供的免费试用进行尝试,以便验证是否真的适合自己的app。

P.S.以上云测试平台提供的功能及服务,截止于2016年3月20日。以上原文链接

新增加两个国内比较好的测试平台

TestBird                (www.testbird.com

贯众云测              (http://cloudtest.komect.com/

TestBird

最初是从手游测试开始起步,在手游圈积累起很高的知名度,目前也在逐步向APP测试领域进军。平台上面有2000+的Android & IOS机型,上面笔者介绍的国内测试平台的几种测试,除了Yunos暂时不能测,其他都是可以测的。同时TestBird也加入了智能硬件的测试领域,相信这也是其他几家目前还未进入的测试领域。不仅如此,TestBird同时也开发出云手机平台,帮助开发者和测试者实现远程真机调试,自助功能测试和自动回归测试

贯众云测

兼容测试: 1. 安装、运行、卸载全流程测试

                    2. 覆盖主流机型

                    3. 支持iOS&Android两大平台

功能测试: 1. 支持自定义脚本和Appium脚本

                    2. 图像对比验证 3. 支持iOS&Android两大平台

性能测试: 1. CPU、内存、上下行速率、流量指标全覆盖

                    2. 多应用测试结果自由对比 3. 支持iOS&Android两大平台

稳定性测试: 1. 12小时不间断测试

                       2. 错误日志、截图一目了然

                       3. 支持iOS&Android两大平台

场景测试: 1. 模拟真实2G&3G&4G网络场景

                     2. 支持iOS&Android两大平台

SDK测试: 1.支持Android Instrumentation&Junit测试框架

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,222评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,455评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,720评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,568评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,696评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,879评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,028评论 3 409
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,773评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,220评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,550评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,697评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,360评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,002评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,782评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,010评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,433评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,587评论 2 350

推荐阅读更多精彩内容

  • 一:移动端自动化测试框架对比 概述 1、Monkey是Android SDK自带的测试工具,在测试过程中会向系统发...
    PeytonWu阅读 1,810评论 0 3
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,633评论 18 139
  • 前言: 我们都知道在测试移动app时最耗时的是在各种测试设备进行测试, 因为不论是安卓还是iOS都已经碎片化了。而...
    小喜_ww阅读 14,960评论 4 23
  • 由于测试需要,我就特地花时间了解了一下,云测试平台的安卓APP兼容性测试。 先看看有哪些主流的测试平台吧。 腾讯W...
    砾桫_Yvan阅读 5,086评论 0 12
  • No one worth your tears, and the one who is, won't make y...
    玲珑闲憩阅读 85评论 0 0