文/胡晨川
线上问卷调查工具的不断普及,大大降低了调查的成本。我们在运营中,问卷调查的必要性是值得强调的。辛辛苦苦地从数据库中做挖掘做预测,很多时候不如一张问卷。问卷的题目设计,看似简单,但其实非常有讲究。我们很多小伙伴可能还意识不到自己出现的错误。本文的目的就是帮助大家避免一些低级错误。以下6点,不分先后,一样重要。
态度型问题,增加选项以支撑量化分析
在问卷中,态度型的提问是最为普遍的。比如“你是否喜欢当前的产品主页?”。这个问题的选项如何设计最合理?“喜欢、不喜欢”当然是最差的选择。这会使你所收集的数据操作空间很小,进而造成分析精度很低。稍微好一点的是增加一个中间项,形成“喜欢、不知道、不喜欢”。那么是选项越多越好吗?也不是,因为被调查者受不了。
合理的情况是,选项一般选择5项或者7项。原则上需包含一个中间项(选项是奇数),即填写中间项的人表示没有态度。为什么要包含中间项呢?因为若没有中间项(选项是偶数),那么这个问题就会强迫本身没有态度的人去选择一种态度倾向,使得收集的数据信度降低。对于“你是否喜欢当前的主页”这个问题,合理的选项是“非常不喜欢、不喜欢、不知道、喜欢、非常喜欢”。相当于形成了一个-2-2分的打分。如何统计呢?
选项 回答人数占比 选项对应分 该问题加权平均得分
非常不喜欢 10% -2 -0.2
不喜欢 30% -1 -0.3
不知道 5% 0 0
喜欢 35% 1 0.35
非常喜欢 20% 2 0.4
0.25
0.25就是我们当前产品主页在用户喜好程度上的得分。若有多个相似的问题,那么问题间通过这个数字就可比了。若一个问题多次调查,那么每次获得的得分就能形成纵向可比。
我们更进一步,态度型的问题实际上有两种设计方式。上面作为例子的问题,被称为“哥特曼(guttman)式问题”。它的特征是问题中不包含态度,而由选项来量化态度的程度。这是大家比较熟悉的一种方式。还有一种“里克特(likert)式问题”,它的特征是问题表述中包含态度,而选项是量化被调查者对问题表述的赞同程度,一般用多个升序排列的数字表示。
我们对里克特式问题举个例子。
“你有多大程度赞同下列表述:
我满意当前的产品主页
0-1-2-3-4-5-6-7-8-9
选择数字的大小表示你对表述的赞同程度”
我认为,对于态度的量化,里克特式量表的表现要好于哥特曼式。因为它精确度更高。由于选项多,里克特量表不需要选项必须是奇数,因为根据选项计算得分的方式非常灵活。若选项是偶数,我们会把中间两项的得分设为0。若是奇数,大家应该明白怎么做。
但它对问题的设计要求更高,对回答者的素质要求也更高。在问题设计时,问题要包含态度,但又不能带上态度的放大因素。比如“非常”、“很”、“相当”这样的描述性词汇是要尽量避免的。
问真正有必要的问题,且问题要贴合业务需求
如何评价问题是真正有必要的呢?答案就是,由这个问题的答案,你能直接形成某种运营决策,而不仅仅是觉得有趣。所以,在问题设计时,我们需要设想所获得的答案是怎么样的,且这样的答案能不能直接变成某种决策。举个例子:“你对我们的售后服务是否满意?”就不如“你对我们售后人员的服务态度是否满意?”。别小看这几个字的差距。前一个问题获得的回答很笼统,而后一个问题定位到了售后人员的服务态度,若得分低,那么我们就可以从售后人员的交流话术、穿着等方面去决策。
问题贴合业务需求是什么意思?就是提问和想获得的信息得是一致的。承接上一个例子,我们问题的目的是想知道售后服务人员对待顾客的态度是好是坏,那么我们问“你对我们的售后服务是否满意?”就不合适了。毕竟售后服务包括了电话应答时间、上门时间、问题解决的程度等等多因素,客户回答你不满意,你依然不知道是哪里出了问题。
设置过滤器,识别无效回答
提醒各位:并不是回答了的问卷就可以进入分析的。在问题的设置时,我建议大家设置互证的问题,即过滤器。就是说两个实质是一样的问题,放在问卷的不同位置。若回答者在这两个问题上的差别很大,那么我们认为这是无效回答,剔除出分析样本。这样可以提高数据分析的准确性。
比如在“产品的注册是否顺利?非常麻烦、麻烦、不知道、顺利、非常顺利”这个问题之后,跳过一些问题后,补上一个“你觉得我们产品的注册体验如何?非常不好、不好、不知道、好、很好”。虽然两个问题不完全一致,但观察两个问题的回答,若有个人在前一个问题选了“非常麻烦”而在后一个问题选了“很好”。那么我们就需要把这个回答者剔除出分析样本。
我们还可以将过滤器发展成为一个“多重求证器”。这个用法没看到理论支撑,来自我个人经验。比如,我们要探求用户对外卖配送费的心理价位,先问“您对每单外卖配送费的心理价位是多少?0,1-3,4-6,7-9,10-12”,然后在后续的问题中加上两个问题“您一个月大概会点几次外卖?”和“您对外卖配送费的月支出心理预期是多少?”。这样,后两个问题就可以推算第一个问题的答案,做到一个辅助求证的功能。
避免双重问题和一重半问题
双重问题是指一个提问中隐含两个问题。乍看之下很难理解,但我举个例子你就能明白。“网购时,你更愿意去淘宝还是愿意去京东?”,这是单重问题。“网购时,你会为了有更多的选择而去淘宝,还是会为了正品保障去京东?”,这就是双重问题了。虽然看上去还是淘宝和京东之间选择,但实际上还附加了“更多商品&买正品“这隐含的选择。而双重问题是我们一定要避免的。因为一方面两重问题并不会是完全等价的,即去逛淘宝也会为了买正品,那么回答者的答案就变得模糊不清,到底是选淘宝还是选择有更多商品。另一方面双重问题极其容易产生引导性的陈述。而在问卷问题设计时,我们一定要避免引导性的话语,以免造成回答有偏。
什么是一重半问题?一重半问题往往出现在选项中,某个选项实际上暗含了两个甚至多个选择。比如“下列蔬菜中哪些是你爱吃的?1.白菜;2.土豆;3.青椒及其他辣椒类;”,其中选项3就有问题,使得该选项成为了“多指”。一重半问题也是我们必须要避免的。
动态地进行调查,设置问题库以保障多次调查的质量
我们经常需要动态地收集数据,以观察某个运营动作带来的效果。所以带有运营目的的问卷调查一般会反复做。这时,就很自然地会针对同一个调查目的多次提问。那么用一成不变的提问方式,会造成回答者的厌倦并降低回答的质量。最好的方式是建立题库,对同一调查目的,在不同时间发生的调查中使用不一样的提问方式。这样能更好保障数据的客观性。
对于我们长期在意且在数据库中不能获得量化依据的问题,我建议大家规律性地定期进行问卷调查。
注意了以上5点,大家应该能够更合理地设计问卷。
欢迎关注我的微信公众号“川术”,获得更新鲜的文章。