23.8.1.1客户需求-我们的主旨
出于我们工作的机密性以及现有的保密协议考虑,我们无法披露案例研究中所涉及的公司是哪家公司。但是在本章节中,我们受雇于UK开发商和其他公司所采用的流程是此次案例研究的重点。
在每个项目的初期,客户调研的需求通常是以简短的方式传达给我们。通常会有一份正式的书面文件,然后我们和他们进行口头讨论。目的是确保我们能在调研后期提供他们一份关于调研问题的答案。
客户想要参与用户游戏愉悦度上的评分。以便他们知晓他们是否在正确的方向上。他们想要一个指南知晓他们在每个测试点引进的新特性是否可以提高玩家对于游戏的愉悦度,或者他们是否需要更加的精细化。
简要来说,这游戏基于任天堂,包含了几个关卡,针对人群为9-15岁。它有社会交易的一面。客户对于该款游戏的目标人群有个较好的开发注意,以及想知道总体上每个等级对玩家的吸引力。他们也想了解该游戏对核心用户与普通用户吸引力的对比。以及要有年龄分层。
就过程而言,客户想要每个月给我们提供一系列的玩法,然后让我们收集每个等级所玩法的反馈。这能让他们对于每种待上线的玩法设定底线,对于我们来说计划我们的资源就可用性方面,测试实验室以及参与者。时间是客户最大的压力来源,所以主要问题的报告他们需要我们一到手就拿给他们,而最终得分需要在研究结束后就尽快到他们手上。
最初我们问他们他们是否考虑使用RITE方法( 快速迭代测试与评估方法Rapid Iterative Testing and Evaluation,typically referred to as "RITE" testing, is an iterative usability method)。【快速迭代测试与评估方法】可以让开发者即时处理一些被迅速锚定的主要问题,而这通常在一到两个参与者参加之后就可进行。开发者稍后制造另一个开发以测试在这间隙尽可能快的(有时在下一个阶段)。这让游戏可以快速更迭,结合研究发现以最快的速度得以改进。但是有两个问题是客户不愿意合作此方法的原因:
1.他们需要保证开发资源尽可能聚焦在他们当前致力于的工作上。他们不能
2.我们,我们将需要为了调一个模型给我们。这期间并没有足够的时间将代码转到新的模型上
总而言之我们需要管理这个阶段以及尽快得到愉悦度评分,加上视频,加上关于如何提高的定性的反馈。
23.8.2 如何完成需求
某种意义上,这是个相对简单的摘要。客户清楚他们想要测试啥,即时他们不能确切知道哪些等级是适合的测试点。他们也清楚什么什么时候想要测试i,因为他们每个月都可以给我呈现游戏的一些玩法,日期是提前被设定好的。他们有时间制作8个迭代的玩法供测试用,1个月为间隔,在他们设立一个内置的发展死亡线。
追随客户的一些关于每个阶段应当多长的讨论,基于每个等级内容的数量以及玩法时间的评估,我们决定测试期间45分钟时合适的。这将给每个参与个体在每个等级留有15分中的时间。
考虑这些限制因素,对于这个研究我们提供一些引用。客户明白更广泛的说,这个研究中我们得到更多的参与者,来自问卷的数据将更加可信。因此,我们引用区分让他们选择交易,允许他们选择最优的交易在玩家的数量和花费上。正如我们在章节开头提到的,客户知道很多以及他们清楚他们的预算。
同时,我们知道我们需要开始将注意力放在制作原料来记录玩家的反馈。这些是关键的功能我们致力于做的,这些将在下一个分段中描述。
23.8.2.1我们最初的功能是提供一份每个等级的总体评分
但是,我们不想评分成为我们提供的唯一反馈。不管如何,我们一直将观测个部分,同客户一样,我们也将会有很多信息我们的支持和理解的反馈;为了让他们更有意义以及提供关于如何在未来迭代种改善,我们虽然致力于定量评分,我们也不会忽视定性的方法,我们也会用他们作为反馈的方式。在这章前面我们有提到,问卷形成股价,或者结构,定性的反馈让我们能够明白答案或行为的为啥。
23.8.2.2问卷、访谈、观察看起来是适合的
正面前面所提到的,问卷在短时间的行为后就能质性良好,每次等级后都将有一个破冰点。我们不想仅仅依赖自我报告,我们也想要每个玩家完成一个结构观察形式,在他们一系列维度的反应下打分,在单面镜后面。
我们也寻找更多的定性议题,在观察的会引起困惑或喜悦的玩法议题上得到反馈。某些环节他们中间会有9岁这一的孩子,所以我们需要在测量的时候确保简单容易以便他们能够理解。最后,在玩家完成问卷你后我们对他们说关于他们的反应,来理解他们回答背后的原因。
23.8.2.3客户需要尽快获得反馈
我们清楚客户需要尽快的获得反馈,也要一定的形式以能快速理解并尽可能的在其他工作人员间传播。我们没有时间处理数据,比如进入工作簿评分以及执行简单的运算。因此,简单的图标是真正所需的。我们也鼓励客户看我们工作室的研讨在一次单面镜后,这样他们可以得到反馈给他们的团队当他们出现,通过邮箱,手机或者即时讯息。参加玩家的一个画像如图23.5显示。
我们的发明亏是设计呈现量性数据,但是也从一个独立的,客观的视角提供建议。基于这些愿意,我们制作一个反馈得分的工作簿,观察到的问题以及推荐方式在每一个等级上,这些可以隔天邮件发送给客户,简单又迅速。
我们储蓄了以下的措施:
与会者问卷
孩子玩游戏的观察者评分,寻找肢体语言和姿势来显示积极或消极情绪
定性的观察a
与会者访谈
我们使用这些不同的措施来尝试和消除回应偏见。观察着评分将允许我们来将我们自己的视角因素考虑进去,看玩家在游戏中的愉悦感,从观察到的身体语言,以及游戏中的感受。我们的定性观察基于对挫折时刻的观察。参与者的访谈也让我们可以知道更多关于他们的体验以及问卷评分的愿意。这些不同的方式让我们能够记录用户的反应,这样我们联合制作一个最终的评分,从所有的玩家中计算数据。稍后我们可以提供给客户他们所需要的信息,尽快的,一定格式下的,易懂又易传播的。
23.8.3制作一份问卷
23.8.3.1参与者问卷
玩家完成每一等级后我们需要他们完成一份问卷。使用上面提到的我们先前问题的数据库。我们可以挑选些先前已被验证过具有良好预测性的题目。我们列了一些关键问题清单,包括:
- 总体游戏的评分
- 画面、音乐、声音效果的评分
- 操作反应的问题
- 时间流逝的感知程度
- 理解得分
- 困难度评分以及困难度有多少的愉悦感评分
- 目标的理解
我们从先前的研究清楚知道这些问题集指向总分回顾。没一点工作完成后,我们从评分数中取走数据运行回归分析看看是否所有的关键问题都对我们产生的得分有一样的指向性。我们也添加一些其他问题来收集和个别信念有相关性的题目,比如“交易物品有多麻烦”?这研究完成后,我们对问卷山的问题进行回归分析,发现每个问题的得分有高的相关性,显示这些 问题正在测试同一个参数,对于最终的得分有相关性。
问卷制作完后,我们得思考更年期的孩子也会做这份问卷。因此,我们需要让问卷更简单更短。因为我们清楚什么问题具有最强的指示性,我们能够制作一个简洁鞥多问卷。问卷要是短的,不同级别的参与者可以快速完成。
23.8.3.2 观测者评级
我们想要的是,几轮的测试种有一致的方式观测参与者的行为。我们可以把这个和自我报告问卷数据结合来得到一个更值得信赖的得分。好比三角验证我们的评分,使用多种观察测量方式以及自我报告应该指向更多信赖的数据。频繁的参加者倾向给游戏更好的满意比我们预钱的,考虑我们观察到的东西,以及孩子倾向的极端评分。所以我们的观察者评分联合玩家的评分给出一个更可靠的得分。
评分表是包含一些元素的,供观察者在一个连续的范围内评分,他们包括:
玩家展现的玩的等级
他们在游戏的进展符合他们的预期和需求
玩的过程的反应和语言,不管积极还是消极
我们也调查玩家的反应,执行者进入房间要求他们停止游戏。如果参与者正很享受,他们将会对打断不满意,如果他们过程种不愉快,他们将感到轻松。我们将记录他们的反应在一个量表上,从积极到消极。
23.8.3.3进一步评分
我们也想为更年轻的玩家提供一个简单的反馈模板,但是我们也为所有玩家扩大它的使用,为了他们鞥多一致性。所有玩家完成所有的问题,在各个方面进行打分。
我们用了一个简单的方式展示。在表23.6.这是一个方测量方式要求参与者在玩了某一等级后呈现他们的情绪。一个是笑脸,一个是哭脸,一个是两者之间的,这样客户叫它meh。笑脸是简单的,也容易让客户去评分,特别是年轻的孩子。我们频繁的使用这些微笑符号评分他们和孩子一起的时候,以及成人也觉得这是各给出反应的有趣方式。这是一个更宽泛的方式测试他们的态度,但是它们多提供的是我们采用的一串的多样的评分方式的一种。
这些是我们使用的主要量化手段。我们也利用它们在定性的可用性观察和建议上。我们给每个参与者的访谈在所有的等级之后也让我们挖掘更深刻的特别的反应和回复。
来自于每个问题的得分在一个数据表中被记录,规范化,以及以一种 特别的方式整合起来,在这个试点时期我们进行提炼。得分的整合允许我们为每一个等级有足够的感知制作得分,然后抉择在玩法上何时做些小地改变。但是,得分也必须足够稳定才能确保没有碰到天花板,任何对游戏的改进是不能对得分有改进。
23.8.4 试点研究后提炼主题
我们在一个试点周期内银子分解化测试确保
- 得分能以某种方式被计算,以及不会碰到天花板
- 得分是充分感知到的来挑选小地改变在玩家的态度上
- 参与者理解如何完成它们
- 对于我们研究者来说足够简单让我们追踪以及管理
- 不是太长,我们不会用完时间
试点也允许我们提炼计算和综合得分。我们选挑选了一些事项,如下:
- 我们改变了中断得分,以便在等级上总是出现,不是在一个等级内。当我们在一个等级上打断的时候,打断回应会因为玩家通关时长而有些偏见。举个例子,如果他们刚开始一个等级,他们通常不介意打断。为了保证主观的一致性,我们在等级间打断他们。
- 从观察者的评分表i,我们去除了过程方法;不管玩家在等级中使用了合适的过程。这是因为很难得到一致的评分在观察者中间,什么构成合适的过程的概念很难定义
- 我们包括一个问题在问卷中问人们他们有多大的可能再次玩这个游戏。
23.8.5 案例研究总结
这些得分允许我们制作快速的进展大纲在玩法中,为每个等级,以及能够实施以一个丰富的玩家反应图像从定性的数据。客户对这种数据很高兴,他们从研究中得到了些东西,以及注意到增加在不同等级间增加竞争感。回来的数据对于客户来说是有用的,而不是只是就在开发队伍里增加友好的竞争,但是因为他们可以例可知道如果一个等级没有达到其他的标准,投入资源解决这个问题。
5个晚上的研讨会之后,每轮总共20个参与者,我们给客户发送了一个工作簿包括:
- 每个等级的量化的原始数据
- 综合得分以及计算提供给一个最终的每个等级的比例得分
- 整体百分比得分和我们测试的其他玩法比骄傲
- 图表展示不同等级的差异性在以下方面:
孩子年龄
常规和硬核玩家
将自己定义为社交玩家以及普通玩家 - 定性的发现和建议给每个等级,优先来帮助在未来的玩法的提供得分
最后的分数和反馈当测试完成后就飞快的发给客户,数据进入到工作簿中。通常在研讨结束后的中午发送给他们,让客户快速了解反馈和在团队中传播。
在我们测试的玩法中,得分逐渐改善在所有的等级上,允许团队有自信知道他们正在向着正确的方向前进当他们实施新的 功能的时候。我们从那以后也拓展了这个方法论,增加新的功能同类游戏需要它。