2022-01-07 HDC2021技术分论坛:如何高效完成HarmonyOS分布式应用测试?

如何高效完成HarmonyOS分布式应用测试?

作者:liuxun,HarmonyOS测试架构师

HarmonyOS是新一代的智能终端操作系统,给开发者提供了设备发现、设备连接、跨设备调用等丰富的分布式API。随着越来越多的开发者投入到HarmonyOS分布式应用开发,分布式应用如雨后春笋般涌现。然而分布式应用测试却面临质量差、效率低等挑战。HarmonyOS如何应对这些挑战?下面,让我们一探究竟!

一、分布式应用测试挑战

自HarmonyOS 2.0发布以来,开发者在测试和上架HarmonyOS分布式应用过程中遇到很多挑战和困难。总体可归纳为以下三点:

分布式应用上架测试通过率低:开发者提交上架的分布式应用基础质量较差。如图1所示,基础功能问题和UX显示问题占比率高达85%。

图1 HarmonyOS分布式应用上架问题分析

分布式应用测试效率低:分布式应用涉及多台设备协同时,由于没有统一的测试框架,使得分布式应用测试效率较低。

安全隐私问题拦截难:分布式应用涉及多台设备协同时,由于缺乏全面且高效的隐私合规检测方案,安全隐私问题拦截难度较大。

鉴于以上HarmonyOS分布式应用测试面临的挑战,华为DevEco Testing提供了一套对HarmonyOS分布式应用测试解决方案,具体方案介绍如下。

二、分布式应用测试解决方案

DevEco Testing是一款全新的HarmonyOS测试解决方案。如图2所示,是DevEco Testing测试能力全景视图,基于开发旅程不同阶段的测试活动,给开发者提供对应测试工具和测试服务能力。

图2  DevEco Testing测试能力全景视图

基于分布式应用的关键特征及开发者面临的关键问题和挑战,DevEco Testing从测试标准、测试服务及云测服务三个方面提供分布式应用测试的解决方案。下面,我们将逐一介绍。

1. 测试标准

测试标准定义APP的入门级测试要求,重点覆盖消费者用户最关心的HarmonyOS特征和体验指标。HarmonyOS提供了流转、兼容性、安全、性能、功耗、稳定性、游戏,共7项测试标准,帮助开发者快速上手HarmonyOS分布式应用测试,如图3所示。 

图3 测试标准范围定义

目前,测试标准已经上线HarmonyOS应用开发者官网测试专区,建议开发者上架HarmonyOS分布式应用前参照该测试标准进行自检和测试,可以有效提升上架效率。 

2. 测试服务

测试服务给开发者提供全面且高效的自动化测试方案,目的是帮助开发者提升测试质量和测试效率。目前DevEco Studio3.1 Beta已集成了单元测试框架、分布式UI测试框架、评分工具、远程真机/远程模拟器及云测平台接入Portal共5项测试服务,详见图2。

针对分布式应用测试面临的挑战,我们接下来将重点介绍分布式UI测试框架和评分工具。

(1)分布式UI测试框架

分布式UI测试框架,定位于解决HarmonyOS分布式应用UI自动化测试及测试效率问题。主要包含以下特性:

① 提供30+测试API,覆盖控件查找、控件操作、按键注入等,并支持基础的分布式UI自动化测试,如:findComponent, getText等。

② 提供远程和本地描述方式一致的分布式持测试API,仅参数不同,使用简单方便。通过UIDriver来实现。

③ 分布式UI测试框架集成于IDE,开发者一键式开展自动化测试执行。

接下来,我们通过“亲子早教系统中的分布式拼图游戏”案例,演示分布式UI测试框架的操作流程,包含对分布式FA测试用例编写、分布式测试API使用、分布式UI自动化用例执行过程以及测试结果检查。


视频1-分布式测试框架

(2)HarmonyOS分布式应用评分工具

HarmonyOS分布式应用评分工具定位于帮助开发者本地快速测试,快速闭环问题,如图4所示。

图4 评分工具

评分工具主要包含以下特性:

·本地速测,无需编写用例

·支持兼容性/设计约束/UX/性能/稳定性测试

·支持源码级测试能力

·已支持24个检测项,执行时长<5分钟

·集成于DevEco Studio3.1 Beta版本

3. 云测服务

云测服务包含兼容性、安全、UX、性能、功耗、稳定性6项测试能力,支持流转、服务卡片等HarmonyOS关键特征自动化测试,同时还支持华为1+8多设备运行,帮助开发者全方位看护APP基础质量。针对分布式应用测试面临的挑战,接下来重点介绍UX测试服务以及安全测试服务。

(1)UX测试服务

前面已经介绍过,HarmonyOS应用上架过程中UX问题占比很高,尤其在折叠屏、PAD等设备上文字截断、布局错乱等问题较为突出。为此,HarmonyOS提供全新的UX测试服务,聚焦UX平台规范满足度以及UI显示异常故障检测,并支持在华为1+8设备上复用。检测能力如图5所示。

图5 检测能力概览

UX平台规范是指HarmonyOS通用的UX平台规范,如:流转图标规范,可以在HarmonyOS应用开发者官网获取到。

(2)安全测试服务

安全测试服务包括隐私合规和漏洞检测两大部分。

隐私合规检测能力对标“国际”、“国内隐私法规”及“行业规范”进行构建,主要定位于帮助开发者识别隐私违规的问题,减少因隐私问题导致的应用下线。检测能力包括公开透明、最小化、权限合规等6个大类,已支持20+自动检测能力,能较好的覆盖隐私设计原则。

目前,隐私合规自动化测试存在功能场景自动化遍历、敏感数据提取和敏感行为检测、隐私声明一致性分析等关键技术难点,测试成本高,难度大,HarmonyOS通过如下测试技术,能有效解决检测自动化率和准确率的问题,处于业界领先。

AI自动遍历技术,提升界面遍历深度和广度。

OCR文本识别技术,提取UX界面的文字,识别隐私声明。 

NLP语义分析技术,提取隐私敏感数据描述。

动态沙箱仿真技术,构建敏感操作(如:改变位置信息模拟)的模拟能力。

安全漏洞检测能力基于HarmonyOS安全管理要求进行构建,主要定位于识别并构建Ability安全、权限安全、加密安全、网络安全等8类漏洞检测能力,目前已经覆盖60+漏洞扫描规则,能有效帮助开发者充分识别漏洞隐患,如图6所示。

图6 安全漏洞检测

接下来,我们通过视频给大家展示一下云测服务使用过程,包括测试工程创建、测试任务创建和测试结果展示,以便更好的了解和使用云测服务。


视频2-云测试服务

以上就是本期的全部内容!欢迎大家使用DevEco Testing测试服务,并给我们提出宝贵意见。

END

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,204评论 6 506
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,091评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,548评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,657评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,689评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,554评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,302评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,216评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,661评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,851评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,977评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,697评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,306评论 3 330
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,898评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,019评论 1 270
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,138评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,927评论 2 355

推荐阅读更多精彩内容