上回讲到在衡量流畅度指标我们所采用的指标,各指标所衡量标准在查找相关资料中并没有一个统一的标准作为参考,而对于自己产品而言,所指定的标准需要具有一定的参考性,可执行性;下面从不同的指标来分析衡量的标准,但在制定标准的时候,还是存在一些问题,对于标准的制定所对应的对象不同,制定出来的标准肯定也是不一样的,对于测试人员来说,肯定是希望标准越严苛,指标数据越低,所能够达到的效果也越好;而对象如果是软件开发人员来说,所参考的肯定是开发人员的水平,开发者开发优化的进度和成本,所以他们的标准在测试人员的标准上有所折扣,这样就需要我们综合考虑到底哪种方案更适合于产品性能的优化。
局限于本人的知识水平,参考于其他资料标准,对于优化标准这一块,我们暂定的优化原则是,在测试产品与竞品之间,当测试产品指标数据优于竞品时,以测试产品数据为该标准;而测试产品指标数据低于竞品数据的1.2倍时(以优化20%为限),取竞品数据为参考标准;而当测试产品数据大于竞品数据的1.2倍时,以竞品数据的1.2倍(取整)为参考标准。
流畅度指标中我们所参考的指标首先是响应时间,这个指标的测定我们主要使用的是高速摄像机,前提是测试机需要打开调试模式中的显示触摸位置和显示指针位置,这样能更准确地标记操作动作的开始,比如待机界面的左右滑动,标记指针位置后当手滑动离开屏幕的时候指针消失即计时开始,至完全切换至下一界面则记为该次响应时间,如此重复操作五次,去除时间最大值和最小值,取另外三组的平均值,这样计算出一个场景的响应时间,再对竞品操作获取相应场景的响应时间,这样比较分析两者不同场景的响应时间长短;
第二个就是FPS指标啦,这个也是量化指标中能够从直观的数据中计算出每秒的合成帧数,数据标准为60帧/秒,原因前两节有介绍,此为人眼观察流畅帧数的限制,在整理数据过程中,需要注意的是使用的脚本py所获取的数据为FPS连续变化值(每秒),excel中使用折线图直观看出超过60FPS的数目,超过60FPS的时间段会因为渲染帧数的增加而造成卡顿现象,对比于各场景的FPS数据折线图,分析比较出相对于竞品,哪个场景渲染的帧数较多,是需要改进的,根据数据所衡量出如果画面能保持流畅,需要的FPS需要在(52/60),即在80%的流畅帧下为流畅;
第三是OKT(超KPI数目),简而言之也就是丢帧数,基准是KPI,在基准的刷新周期下(因不同的机器不同所计算出来的OKT数也是不一样的,如本测试的产品刷新周期为16ms,而竞品三星的对比机为16.6ms,约为17ms)这样所得到的一段时间内的OKT曲线对比观察是否平缓和值是否在合理范围内,定义的标准暂定为不超过4帧,参考标准为竞品数据的平均值则称之为流畅;另外还需要考虑的数据就是该时间段内的最大丢帧数,这样所获取的值才不因为某一个帧数的丢帧数大而导致的卡顿,使该参考值更具有参考性,最大丢帧数得标准参考于竞品标准为5,最大丢帧书在不超过于5帧时称之为流畅;
第四是MFS(单针最大时间间隔)此场景暂考虑的主要是待机界面的滑动和主菜单界面的滑动,其他场景暂不考虑,所绘制出的折线图不规律,不具有比较性,标准现在主要是参考测试机与竞品对比机的均值的平均值,这样在所得到的数据200ms,这样所定义为界面的流畅;
第五所采用的指标为流畅度综合性评分(SS),这样有前几个指标所占不同的比重所得到该时刻的流畅度评分,流畅度评价规则=用例得分*(FPS/目标帧率)*50+(KPI/最大单帧耗时)*10+(1-超KPI渲染时间帧数/总帧数)*40;对比于两竞品数据绘制出的折线图,标准参考于竞品的标准以分数在85以上的数据定义为流畅。
对于其他指标待之后学习过程中继续探究和分析,而对于流畅度这一块还涉及到过场动画的优化,对于过场动画这一块,在下回中详解。