统计学4-辛普森悖论

对撞因子

对撞因子(Collider)【1】,在统计学和图模式中,是指同时被两个以上的变量影响的变量,而这些影响对撞因子的变量之间不一定有因果关系。因为在环路图上会显示为有两个以上箭头指入的节点,所以称为对撞因子。

Collider.png

在设计实验、挑选样本或进行统计分析时,如果有意或者无意间控制了对撞因子,会造成自变量和因变量之间出现没有实际因果关系的伪关系

例子

在二次世界大战期间,沃德·亚伯拉罕发现盟军飞回来的飞机中,机翼上有最多弹痕,机尾和引擎最少。他提议补强最少弹痕的地方,而不是中弹最多的地方。因为这些飞机可以飞回来,说明中弹的位置不重要,而其他位置中弹的飞机没能飞回来,所以才没有观察到哪些位置中弹。有弹痕的位置重要的位置是两个变量,是否被击落是对撞因子,因为没被击落的条件已经自动被控制了,所以变量之间出现负相关。这种现象称作幸存者偏差

再以篮球为例,如果只看 NBA球员,会发现身高比较高的人得分率没有比较高。这是因为身高矮还能进NBA的人必然是用其他有时补足了身高的弱势。 身高为自变量,篮球得分率为因变量,是NBA球员是对撞因子。

辛普森悖论

如果控制对撞因子后造成相反的相关性,称为辛普森悖论【2】。

当人们尝试探究两种变量(比如新生录取率与性别)是否具有相关性的时候,会分别对之进行分组研究。然而,在分组比较中都占优势的一方,在总评中有时反而是失势的一方。该现象于20世纪初就有人讨论,但一直到1951年,E.H.辛普森在他发表的论文中阐述此一現象後,该现象才算正式被描述解释。后来就以他的名字命名此悖论。

请看下面的例子

一所美国高校的两个学院,分别是法学院和商学院。新学期招生,人们怀疑这两个学院有性别歧视。现作如下统计:

法学院

性别 录取 拒收 总数 录取比例
男生 8 45 53 15.1%
女生 51 101 152 33.6%
合计 59 146 205

商学院

性别 录取 拒收 总数 录取比例
男生 201 50 251 80.1%
女生 92 9 101 91.1%
合计 293 59 352

根据上面两个表格来看,女生在两个学院都被优先录取,即女生的录取比率较。现在将两学院的数据汇总:

性别 录取 拒收 总数 录取比例
男生 209 95 304 68.8%
女生 143 110 253 56.5%
合计 352 205 557

在总评中,女生的录取比率反而比男生低。

借助一幅向量图可以更好的了解情况:


Simpson_Paradox.jpg

这个例子说明,简单的将分组数据相加汇总,是不能反映真实情况的。

就上述例子说,导致辛普森悖论有两个前提。

  1. 两个分组的录取率相差很大,就是说法学院录取率很低,而商学院却很高。而同时两种性别的申请者分布比重相反。女性申请者的大部分分布在法学院,相反,男性申请者大部分分布于商学院。结果在数量上来说,拒收率高的法学院拒收了很多的女生,男生虽然有更拒收率,但被拒收的数量却相对不算多。而录取率很高的商学院录取了很多男生,使得最后汇总的时候,男生在数量上反而占优。
  2. 有潜在因素影响着录取情况。就是说,性别并非是录取率高低的唯一因素,甚至可能是毫无影响的。至于在学院中出现的比率差,可能是随机事件。又或者是其他因素作用,比如入学成绩,刚好出现这种录取比例,使人误认为这是由性别差异而造成的。例如,如果报考法学院的女生较多,可能会出现女生的录取分数线高于男生的情况。

为了避免辛普森悖论的出现,就需要斟酌各分组的权重,并乘以一定的系数去消除以分组数据基数差异而造成的影响。同时,我們必需清楚了解情况,以综合考虑是否存在造成此悖論的潜在因素。

【1】对撞因子
【2】辛普森悖论

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,080评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,422评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,630评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,554评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,662评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,856评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,014评论 3 408
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,752评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,212评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,347评论 4 331
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,973评论 3 315
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2 349

推荐阅读更多精彩内容

  • 辛普森悖论为英国统计学家E.H.辛普森于1951年提出的悖论,即在某个条件下的两组数据,分别讨论时都会满足某种性质...
    haidaozheng阅读 509评论 0 2
  • 辛普森悖论 对于存在相关关系的两组因子A、B,可能存在一种现象,A、B为正相关,而将A分组后的A1和A2分别与B成...
    JonWang_js阅读 6,968评论 0 5
  • 关键词:辛普森悖论 | 直觉 | 统计 | 可加性 辛普森悖论真是个很经典的东西,引用维基百科: 在分组比较中都占...
    simoncos阅读 4,436评论 0 3
  • 文/阿龟 2017已经过了大半年了,当初想要做的事都完成了吗? 这一年对我来说最大的改变是心境上的改变。从小到大被...
    阿龟_阅读 152评论 0 0
  • 《岳阳楼图》扇页,元,夏永作,绢本,墨笔,纵25.2cm,横25.8cm,故宫博物院藏。 本幅自识:“至正七年四月...
    阳阳说画阅读 552评论 0 5