今天看到了《学会提问》这本书的第九章<证据的效力如何:个人观察,研究报告和类比>,里面有一部分讲到了调查问卷的可信度的影响因素,以后一定会用到,因此在这里总结一下。
一.要使回答有意义
由于一些原因,人们常常会掩盖真相,比如他们会提供自己认为应该提供的答案,而非内心真实的想法;比如他们对问卷或某一类问题存在敌意;比如他们不作任何思考。
书里没有提到具体要怎样做,我觉得可以从以下几个方面考虑:1.必要的时候匿名问卷可以让人不设防;2.控制问卷长度,避免太长人们在后面的问题里不愿思考;3.得到结果以后,不要相当然以为结果反映了被调查对象的真实态度
二.问题的措辞
应该尽可能清晰地措辞,像“电视上有没有高质量的节目”这种措辞,比较含混,调查结果可信度就会打折扣。一般来说,一个问题的表述越清晰,不同的人就越有可能队其做出相同的解读。
三.避免偏见
两个最重要的偏见分别是措辞偏见和语境偏见。
首先措辞偏见:
“你对总统受人误导在全国大张旗鼓地强制推行奥巴马医改式的社会主义有什么看法?”
“你对总统的医改尝试,即要建立一套覆盖人群更广、成本更低廉而医保覆盖项目却大大增加的医疗体系有什么看法?”
这两种描述方式下,答案的面目会大不相同,因此答案只能显示出对于医改方案的歪曲观点。调查和问卷的的遣词用句需要接受审查以避免偏见。
语境偏见:
1.问卷的前后关联问题可能对调查结果产生影响。比如你想调查是否应该把禁止饮酒的年龄从21岁降到18岁,那么如果你先问满18岁应不应该像现在这样有选举权,就会对人们有类比的暗示:18岁既然可以像21岁一样行使选举权,那么为什么不能喝酒呢?
2.另一个重要的语境因素就是问卷的长度,过长的调查,人们对后面的问题就没有耐心了。就像我周末去看腾讯的T-Day展览,结束后有个问卷,真的超长,边走边答,超过1分钟没有答完,后面的题我就随便选了。所以问卷不应过长,而具体什么叫“过长”,可以根据填写场景来决定。如果像这种看完展,需要人边走边填的,那么就需要控制在1分钟之内;如果是在一个舒适环境,且人们可能不太着急(比如在排队中),那么问卷可以稍长。
在现实中,往往很难避免偏见,但是重要的是我们需要知道偏见之所在,防止自己过分被调查结果所说服。