性能测试 流畅度各指标标准

    上回讲到在衡量流畅度指标我们所采用的指标,各指标所衡量标准在查找相关资料中并没有一个统一的标准作为参考,而对于自己产品而言,所指定的标准需要具有一定的参考性,可执行性;下面从不同的指标来分析衡量的标准,但在制定标准的时候,还是存在一些问题,对于标准的制定所对应的对象不同,制定出来的标准肯定也是不一样的,对于测试人员来说,肯定是希望标准越严苛,指标数据越低,所能够达到的效果也越好;而对象如果是软件开发人员来说,所参考的肯定是开发人员的水平,开发者开发优化的进度和成本,所以他们的标准在测试人员的标准上有所折扣,这样就需要我们综合考虑到底哪种方案更适合于产品性能的优化。

    局限于本人的知识水平,参考于其他资料标准,对于优化标准这一块,我们暂定的优化原则是,在测试产品与竞品之间,当测试产品指标数据优于竞品时,以测试产品数据为该标准;而测试产品指标数据低于竞品数据的1.2倍时(以优化20%为限),取竞品数据为参考标准;而当测试产品数据大于竞品数据的1.2倍时,以竞品数据的1.2倍(取整)为参考标准。

     流畅度指标中我们所参考的指标首先是响应时间,这个指标的测定我们主要使用的是高速摄像机,前提是测试机需要打开调试模式中的显示触摸位置和显示指针位置,这样能更准确地标记操作动作的开始,比如待机界面的左右滑动,标记指针位置后当手滑动离开屏幕的时候指针消失即计时开始,至完全切换至下一界面则记为该次响应时间,如此重复操作五次,去除时间最大值和最小值,取另外三组的平均值,这样计算出一个场景的响应时间,再对竞品操作获取相应场景的响应时间,这样比较分析两者不同场景的响应时间长短;

  第二个就是FPS指标啦,这个也是量化指标中能够从直观的数据中计算出每秒的合成帧数,数据标准为60帧/秒,原因前两节有介绍,此为人眼观察流畅帧数的限制,在整理数据过程中,需要注意的是使用的脚本py所获取的数据为FPS连续变化值(每秒),excel中使用折线图直观看出超过60FPS的数目,超过60FPS的时间段会因为渲染帧数的增加而造成卡顿现象,对比于各场景的FPS数据折线图,分析比较出相对于竞品,哪个场景渲染的帧数较多,是需要改进的,根据数据所衡量出如果画面能保持流畅,需要的FPS需要在(52/60),即在80%的流畅帧下为流畅;

   第三是OKT(超KPI数目),简而言之也就是丢帧数,基准是KPI,在基准的刷新周期下(因不同的机器不同所计算出来的OKT数也是不一样的,如本测试的产品刷新周期为16ms,而竞品三星的对比机为16.6ms,约为17ms)这样所得到的一段时间内的OKT曲线对比观察是否平缓和值是否在合理范围内,定义的标准暂定为不超过4帧,参考标准为竞品数据的平均值则称之为流畅;另外还需要考虑的数据就是该时间段内的最大丢帧数,这样所获取的值才不因为某一个帧数的丢帧数大而导致的卡顿,使该参考值更具有参考性,最大丢帧数得标准参考于竞品标准为5,最大丢帧书在不超过于5帧时称之为流畅;

   第四是MFS(单针最大时间间隔)此场景暂考虑的主要是待机界面的滑动和主菜单界面的滑动,其他场景暂不考虑,所绘制出的折线图不规律,不具有比较性,标准现在主要是参考测试机与竞品对比机的均值的平均值,这样在所得到的数据200ms,这样所定义为界面的流畅;

    第五所采用的指标为流畅度综合性评分(SS),这样有前几个指标所占不同的比重所得到该时刻的流畅度评分,流畅度评价规则=用例得分*(FPS/目标帧率)*50+(KPI/最大单帧耗时)*10+(1-超KPI渲染时间帧数/总帧数)*40;对比于两竞品数据绘制出的折线图,标准参考于竞品的标准以分数在85以上的数据定义为流畅。

     对于其他指标待之后学习过程中继续探究和分析,而对于流畅度这一块还涉及到过场动画的优化,对于过场动画这一块,在下回中详解。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容