问卷设计|问题选项的顺序效应

原创作者:胡婧炜、方悦如

我们先来做一个小测试吧。

现在给出一组无意义字母组合,请大家在认真看过一次后尽可能地进行复述。

cbu  scv evj wpq rsl qos gqs qke wzo fmw qnb osc

大家都记住哪些了呢?是不是前面几个和后面几个?这是为什么呢?

图片来自网络

一、 什么是选项的顺序效应

(Response Order Effect)

这里引入两个心理学上的概念:首因效应(Primacy Effect)近因效应(Recency Effect)

首因效应是指最初接触到的信息会形成更为深刻的印象;近因效应是指新接受的刺激更容易被大脑提取。当人们识记一系列事物时,对开头部分和末尾部分项目的记忆效果优于中间部分项目。信息前后间隔时间越长,首因效应和近因效应就会越明显。

这种顺序效应不仅是出现识记上,我们生活中的很多行为选择都无形地受到顺序的影响:比如有无厘头的研究者发现卫生间的隔间中首尾的使用率更高。

图片来自网络

问卷调查中同样存在这样的效应,我们把这种问题选项的排列顺序对受访者答案的影响,统称为选项的顺序效应。选项类型不同,其顺序效应的机制也不一样,我们接下来将其分为类别型选项评分量表型选项来进一步介绍。

二、 类别型选项

(Categorical Response Options)

举个简单的例子:

你更喜欢以下哪种蔬菜?

1. 豌豆

2. 菠菜

3. 胡萝卜

4. 西红柿

5. 黄瓜

6. 萝卜

图片来自网络

相关研究表明更多的受访者会选择排在前面的豌豆、菠菜,或者是排在后面黄瓜、萝卜。

学者们使用走捷径理论(Satisficing Theory)来解释这种顺序效应(Krosnick & Presser,2010)。以上面的问题为例,一个理想型的认真答题者会仔细思考所有的6个选项,斟酌到底哪个是自己最喜欢的蔬菜;而一个走捷径的受访者则不会考虑那么多,当出现的“豌豆”这个选项还算过得去时,他们便不再考虑后面选项了,哪怕其实相比豌豆他们更喜欢胡萝卜。在这时,首因效应便出现了,即靠前的选项更受青睐!

但这通常只是选项通过视觉传递给受访者时产生的效果(就像我们在文中举的例子便是视觉呈现,也是线上调查最常见的形式)。而当选项通过听觉传递给受访者时(比如面访或者电访),在听访员读完所有选项后,受访者更容易记住的则是后面的选项,从后往前进行选择对他们来说也更容易,故在这种情况下近因效应更可能出现。

可见,访问的模式决定了顺序效应的表现形式。而顺序效应的强弱则和受访者的个体特征相关,受访者的认知能力越低,顺序效应越强。此外,如果调查的问题太难,受访者在答题过程中更容易疲惫,顺序效应也会越发明显。

三、评分量表型选项

(Rating Scales)

很多的主观态度题采用评分量表的形式。举个例子:

你在多大程度上同意“经济发展通常导致自由民主”这个观点?

1.完全同意

2.比较同意

3.既不同意也不反对

4.比较不同意

5.完全不同意

与类别型选项不同,评分量表型选项必须遵循循序渐进的内在逻辑,因此只可能有正序或者倒序两种排序,而不能任意打乱选项间的顺序。比如在上面的例子中,可以将积极的选项放在前面,将消极的选项放在后面(如上述例子),也可以将这个顺序颠倒过来,将消极的选项放在前面,将积极的选项放在最后。

这个看似微不足道的设计决定在一定程度上会影响受访者的答案,导致数据分布的改变。比如Toepoel 等学者(2009)在一项研究中比较了同一道题(Overall, how would you rate the quality of education in the Netherlands? 总的来说,你会如何评价荷兰的教育质量?)在正序和倒序两种选项排序方式下,各个选项的被选中的百分比,发现相比从负向到正向排序,当量表从正向到负向排序时,受访者正面评价的比例更高(图一)。

具体来说,当选项从“非常好”到“差”呈现时,受访者选择更为正面,倾向于选择“好”;当选项从“差”到“非常好”呈现时,受访者的选择则较为负面,体现了选项顺序效应中的首因效应。

图一

走捷径理论同样适用于评分量表型选项中的顺序效应。相比类别型选项,量表型选项的不同选项间没有明确、精准的边界,而只是反映了程度上的差别,因此受访者经常会在某两个相邻的选项间举棋不定。

而一个走捷径的受访者则不用为此烦恼,他们遇到一个合理范围内的选项时,便不再考虑接下来的选项了,首因效应因此出现。

图片来自网络

需要注意的是,与类别型选项不同,量表型选项相当于一个有内在逻辑的序列(而不像类别型选项那样杂乱无章),这弱化了记忆的难度以及从后往前思考和选择选项的必要性,因此即便在听觉呈现的访问模式中,往往表现出来的也是首因效应,而不是近因效应。

四、减少顺序效应的小技巧

(TIPS)

问题选项的顺序在某种程度上会影响被访者的最终答案,特别是在被访者没有明确的态度或意见时尤为明显,故在设计问卷时可以巧妙地运用一些技巧来规避这些可能出现的顺序效应。

A. 平衡选项的顺序。

既然受访者倾向于选择靠前或靠后的选项,那么打乱选项的顺序可以在统计学意义上削减这种效应。

对于类别型选项来说,我们可以对所有选项进行随机的排序;但如果是评分量表型选项,任意的打乱顺序则会损害量表内在的逻辑性,这时候将量表按正序或者倒序两种顺序随机分派给受访者是比较合理的做法。

B. 将大家不太愿意选择的一端作为起始端。

在测量主观态度的量表题中,可以考虑将大家不太愿意选择的一端作为量表的起始端(Bradburn et al. 2004),这样一来可以有效减少首因效应。

比如在人们的日常习惯中,很多人都更倾向于表达许可或者同意的态度,而不太愿意表达反对或者不同意的观点,因此我们可以将量表按照从不同意到同意的顺序进行排序。

C. 从受访者答题的认知机制入手,从根源上解决顺序效应。

如果顺序效应是由于受访者走捷径引起的,便要想办法减少受访者走捷径的可能性。

如增加被访者回答问题的动力(如给予受访者适当的酬劳、将问卷尽可能缩短),降低任务的难度(如题目和选项都尽可能地简单)等,都是减少走捷径行为的行之有效的方法。

References

Jon A. Krosnick and Presser S.(2010). Handbook of Survey Research. (2nd ed.) Emerald Group Publishing.

Toepoel V., Das M., and Soest A.V. (2006). Design of Web Questionnaires: The Effect of Layout in Rating Scales. Journal of official statistics, 25, 509-528.

Bradburn, Norman M., Seymour Sudman, and Brian Wansink. (2004). Asking Questions: The Definitive Guide to Questionnaire Design for Market Research, Political Polls, and Social and Health Questionnaires. San Francisco: Jossey-Bass.

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 221,635评论 6 515
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,543评论 3 399
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 168,083评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,640评论 1 296
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,640评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,262评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,833评论 3 421
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,736评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,280评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,369评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,503评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,185评论 5 350
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,870评论 3 333
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,340评论 0 24
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,460评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,909评论 3 376
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,512评论 2 359