23.7.1贯穿游戏的基线
作为长期策略，在体验实验室，我们管理一个正在运行的游戏数据库，每次游戏的不同问卷收到的得分。这样的事情许多用户研究组织都会做。我们这样做有以下几个原因：
1.可以让我们留有我们每次调查使用的问题记录
2.通过这些问题，我们能够清楚知道哪一个选项和最终总体得分有相关性，以及某种意义上可以被描述为“准确”预测。我们正不断验尝试验证我们使用方式的有效性。
3.我们可以清楚问卷中的哪些问题能够在不同的类型游戏中有准确的得分，包括那些相关性准确度最高的题目。这有助于确保问卷只包含那些相关性最阿公且最有用的问题，这也是上面提到的问卷越短越好的理由。
关于上述的第二第三个理由有一个基本的假设：效度只能在
即时属于同一类，也并非所有游戏都是一样的。举个例子，SingStar准确的说，不能等同于Lips。这两款游戏有相同的地方：他们都是party游戏，他们都需要唱歌等等，但是准确的说他们并非等同的。
这两款游戏中有大量的差异点，这种差异感特别贯穿在更广泛的游戏体验之中。所以匹配问卷题目到类似类型的游戏的过程仍是很难掌握的经验，但是这有助于确定表现的关键指标。
我们很少在不同类的游戏中对问题做标记管理，因为这需要对比不同游戏的质性方面的相似度，比如拿苹果和橘子对比。但是，如果不同类型的特定游戏有相似的机制则另当别论，需要纳入考虑了。
23.7.2 不同的玩法的立标竿
我们常常被问开发中只和标题工作，围绕alpha，然后追踪进程随着它的发展。随着游戏开发，出现的功能是精确的，额外的功能被增加，开发者可以得到一个游戏如何推进的概览，以及它玩起来是否正越来越有意思。
在案例表（看23.2表），我们展示了每个等级的得分情况在一个任天堂数据上，当这个游戏在不同的数据上进行测试。这允许我们可以看见随着新的功能的加入，不同等级改变后，总体满意度得分是如何的。以及ai被调整。我们不能泄露标题是啥，因为不披露原则我们和客户签订了。
这个表显示了并非所有等级北侧是在每个测试阶段。我们每轮测试3-4个等级。但是，通过获得你的标杆方法论每一轮使用同样的方法，你可以在每次测试的时候进行每个等级的uibi，找到关注点的关键地方。从这个客户可以知道如何优先它们的资源。
研究发现这些得分组成，但是他们也需要更多的信息来帮助我们理解在玩家选项背后的理由。他们自己的问卷可以显示好很多东西。但是，通过从数据得到数据进行三角验证，丰富的反馈从过去玩家访谈中，以及在玩法中的观察，你可以知道为什么玩家给这个游戏打这个分数。然后你讨论这个问题，是为什么导致了低分，哪些问题可以被解决。
经常在测试中有些时候，不单独使用问卷的重要性变得明显。玩家行为观察和他们体验的表现，举个例子，可能作为案例导致更多玩法的增加，游戏变得越来越引人入胜：可能有一个更广的范围，或者玩法功能。者能够转却的哪些功能玩早期玩家需要，意味着游戏的得分减少。但是，同时，这些新的功能可能表现得很难对于玩家来说。这将有一个不可抵抗得消极影响在问卷得分上，推翻任何好处游戏可能从他们得东西里面得到。
这显示等级6以下在23.3，
第二轮测试，客户增加新的哦那个能，包括避免的障碍，增加了游戏的深度。此外，他们调整AI和意外让它更难打败CPU。如果我们不管这这个阶段看这些，看玩家身体语言和表达当他们玩的过程，根据这些非常规访谈发过誓每次之后，问卷得分可能让我们以为问题只是新的障碍，轻视AI问题。
但是即时一个玩法问卷得分下降，正如上述描述的，这个得分仍然是有价值的，因为标题接近它的重点，新的玩法正在被精炼以及游戏平衡性将越来越高，我们可以提供更广的标题正改善的画像。紧要的，如果一个新的功能在一天中晚些增加，游戏评分炸了，不能有足够的时间精炼功能在提交前，评分可以给开发者一个好的预示是否保留，或者去掉（伴随他们自己的判断和其他数据）。
一个关键要素和这个相关的是用户交互和菜单包装，这些东西可能链接各种小欧系在大的游戏标题下。UI是一个更多功能的元素在游戏立，测试小游戏是不同的，但是可以在最后的打包中有个整体的影响。早期玩法，UI并不出现，我们可能仅仅工作对象就是小游戏。但是当Ui实施的时候，它制造了一个打磨过的专业的游戏包，这会影响玩家的喜好。通过检查卡法这关于是否，何时以及如何，Ui放入进去的在研究会议之前，我们可以确保我们有一系列的问题处理总体满意度而不仅仅是UI，但是完整的游戏产品，而不是聚焦于小游戏。
23.7.3 不同等级的标记管理
标杆得分对于游戏中根据不同标准排序等级是一个好的工具，比如趣味性或困难度得分。举个例子，我们致力于多等级平台在手握设备给一个主要发i星尚，每个等级的接下来的执行完成一个断得问卷，从多个方面测量对这个问题的态度。特别的，难度得分，玩家玩此难度等级下的乐趣如何，有个关键的指标来和其他对比。然后将这些点画在一张表上，帮助我们理解等级是否如预期的提高难度。这由于游戏有合适的挑战性曲线如表现得，仍然有乐趣。这个图如23.4展示了每个等级得难度评分。游戏有世界组成，没有颜色是一个世界。每个世界中，有等级，每个等级是图表得线，预示所有玩家难度得平均得分。如你所见，在第一个世界中，等级1，2，3评分是比较容易得，但是等级4要困难很多。通过这个数据，连同看玩家玩游戏在这个等级得表现，我们就能清楚等级里得某个领域玩家被卡住了。开发者也能知道这点，等级被提炼让等级少些挑战性但是仍然有趣。更细维度的难度评分显示问题已经被处理。我们也通过评分知道每个邮寄是否有趣。等级后我们决定降低挑战性，提高预约度。
23.7.4不同地区的标记管理
做标杆的另一个有用的愿意是理解一个游戏在不同地区的相对的满意度。这可能有很大的洲际不同，内陆国家差异，甚至国家内部的不同，一个游戏可能对不同的国家或地区有不同的吸引力。
相容性是关键的，总体在打标杆的时候，但是何时在大的地区测试是重要的。有许多不同的方法获得一致性。我们发现最好的流程是开展第一个系列性的研究在你自己的国家，或者和你自己尽可能相似的（同语言国家。这让你能够确保挑选你感兴趣的方面在测试部分的时候，也让你能够确保执行问卷的时候有一致性的管理，我们细致的记录需要的方法让其他研究者（不同地方的）可以精确的使用。在这样将能够在其他国家有指引的作用。
我们最初被要求提供在其他欧洲国家的服务，这是偶然的在非家乡外的初次尝试，美国，澳大利亚，日本。我们有合作机构在不同的国家，所以方法的一致性和期待的产出可以让合作者有个前期的了解，最小化简化时间。。
我们推荐执行这一部分的时候使用该国家的合伙人的方式。有助于在每个国家的当地的机构，多个国家管理。当地的机构在非英语国家帮助你书写问卷题目来传达你需要的润色。他们也能翻译更多的回他从客观研究框架上。
有多种方式传达测试需求和流程给合作者确保一致性。在花费和影像上，他们各异。所以，也值得和客户讨论利弊，帮助他们做一个明智的决定。这儿是一些典型的不同的方法你可以提高一致性，减少警惕的命令：
- 出差到当地去，和当地合作机构会面子啊研讨开始前。清楚地传达需求和流程保持观察所有的部分和记笔记
- 个人和合作机构交流，观察头一个或两个阶段确保一致性，做记录以及回头会议当地研究者会议研讨的发生。
- 和当地合作机构通话，skype,或者邮件在研讨会前，确保研讨会顺利进行通过观察一个部分。
- 和合作机构通话，SKYPE或邮件，然后让捉着在第一阶段后何时运转的如何。也需要注意返回的问卷数据，确保符合预期。否则，和合作者讨论其中的差异，知道如何提高他们，特别是他们有一个准确的态度的反射或者测试过程不期待发生的东西。
- 我们有规律性的管理这些国际间研讨，国家地区间的差异总是要去注意。问卷体哦那个了最初的诱因让我们意识到潜在的差异，但是我们仍然需要回溯更远的讨论和访谈和参与者，知道差异的原因。因为只有这样，收回的数据才能有稳定的水平，或者检测对比当地以及完成的。差任何差异都可成为更深的探测在接下来的部分。
23.7.5总结
问卷作为一个方法理解标题和其他标题对比效果不错，随着他们开发可以参照他们自己的不同版本，以及在不同的地区。有助于实证的提供可靠的反馈给你的客户。但是，不仅仅实用性价值：提供的数据也能给标杆提供短期或长期的作用
简单，评价，法昂便，可转移，问卷也提供大量的数据开启更深入的研究使用其他方法。结果是灵活的，不需要更新才能工作，你可改变他们的内容轻易的，你可能不能要单独使用他们，但是替代是使用它们完成和从其他方法中找到支持性的发i西安。。它们经常好像和研究发现的框架，有更多的细节的定性研究让我们更加的深入。
现在有一个案例研究是我们进去个应该一家游戏开发商做的测试。这个研究设计来检测玩家在游戏不同玩法中“趣味性”的评分。我们希望个案研究展示我们如何作为咨询者为一个客户服务，明白它们的需求和制作研究策略。也展示了使用用户测试的整体流程，落地式的问卷和调查如何合适研究的方法论。
