假设检验中统计功效、效应大小及样本量

1、统计功效(statistical power)

当假设检验结果不显著时,这时我们不能立刻接受原假设,因为可能是统计功效过低。统计功效是什么意思呢?它代表当备择假设为真的情况下,可以正确拒绝原假设的概率,即1-β。它代表我们通过假设检验可以正确识别出目标的概率。(熟悉机器学习的同学应该知道,类似于评估机器学习分类模型效果时,有个指标叫做召回率(recall),代表实际为阳性的所有样本中,通过模型可以被识别出的比例。这个统计功效即类似于召回率。)如果结果不显著,样本不一定是阴性,也可能是统计功效过低,而无法识别出来。

2、统计功效影响因素

影响统计功效(1-β)的因素有显著性水平α,样本量大小N,标准化的效应大小EZ。这四个要素是相辅相成的,只要确定了其中三个要素,另外一个就可以唯一确定。

  • 显著性水平α
    α某种意义上可以代表检验的严苛程度,其他条件不变的情况下,α越小越严苛,目标样本越不容易识别出来,因此统计功效越小。
  • 样本量大小N
    其他条件不变情况下,样本量越大,统计功效越大。
  • 效应大小EZ
    其他条件不变情况下,效应越大,代表样本与总体之间的差异越大,越容易被检验出来,因此统计功效越大。

3、功效分析(power analysis)

我们了解了影响统计功效(1-β)的三个因素,因此,在确定了我们想要达到的统计功效、显著性水平和效应大小后,就可以估算需要的样本量。利用统计功效估算样本量的方法称为功效分析。

功效分析的难点在于如何确定效应大小。效应大小是一个抽象的概念,它在数学上到底是什么形式取决于具体的统计测试。比如说,相关分析、t检验、卡方检验的效应大小分别是:相关系数、均值差、OR值(比值比)。在估算样本量时,我们还没有开始试验,又如何确定效应大小呢?常用的有两种方法:

  • 试点试验
    用少量样本进行试点试验,利用试点试验的结果估算效应值大小。
  • 利用相近研究数据进行经验估算
    寻找相近的研究数据,或利用某些经验值,合理估算效应值大小。

4、提升统计功效的方法

  • 1、增加数据量
    某些试验是两个或以上组别的试验,可以尝试增加容易获得样本的组别的数量,但是这个方法也有限度,通常情况下一个组别的数量是另一个组别数量的两倍,再增加数量就没有多少作用了;此外,试验中尽量减少样本的损失也是增加数据量的一个方法。
  • 2、放宽显著性水平α
    这个方法会增加第一类错误的概率,因此,较少使用
  • 3、增加效应大小
    3.1 增强干预的效果
    如果我们的研究是关于某种干预(如药物、物理治疗、行为训练等)的效果,一种简单但很有效的方法是使用更强的干预(比如更大剂量的药物、更长时间的训练等)。
    3.2 对极端群体作比较
    在一些研究中,我们无法直接控制感兴趣的自变量。这种情况往往发生在观察性或回顾性研究中,由于实验者不能主动操纵自变量,因而上一条方法就不适用了。
    如果自变量是一个在某个范围内可以连续取值的变量(如年龄、血糖浓度等),为了增强效应大小我们可以采取对自变量“取两头、弃中间”的办法,从而放大不同个体间的差异。
    比如我们想探索肥胖人群与正常体重人群的学习能力是否存在差异。
    大家知道,一个人肥胖与否可以通过体重指数(body mass index, 缩写为BMI)来表示。如果BMI在18到25之间为正常;25到30之间为超重;30以上为肥胖。为了尽可能扩大效应大小,我们只选择了BMI在18-25之间与30以上的受试者,并对两者进行比较,而没有使用整个BMI范围的受试者。
    3.3 引进控制变量
    很多时候,尽管我们研究真正感兴趣的只有一两个自变量,我们依然会收集它们以外的许多其他变量的信息,并把这些变量包括在我们的统计分析中。这些变量就是我们所说的控制变量。
    虽然我们的出发点并不是研究这些变量,但是它们可能可以消除数据中与我们真正感兴趣的自变量无关的噪音,从而增强我们能观察到的效应大小。
    例如,我们想研究一种新型的受体拮抗剂对抑郁症状的疗效。由于这种药物与某些激素存在相互作用,导致该药物对女性的作用大大高于男性。如果我们不将性别的因素考虑进来,当我们比较干预组和对照组时,由于两组受试者中男性的存在,平均的疗效差异就会被拉低,统计功效也随之降低了。如果我们将性别作为控制变量,药物对女性的疗效就更容易表现为具有统计学显著性的结果了。
    3.4 采用重复测量或组内设计
    在可行的情况下,采用重复测量(在同一组受试者上分别实施干预和对照)设计能够有效降低组间设计(在不同的受试者上进行不同的干预)中由于个体不同所带来的随机噪音,从而也能增强效应大小,进而提高统计功效。
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 228,983评论 6 537
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 98,772评论 3 422
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 176,947评论 0 381
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 63,201评论 1 315
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 71,960评论 6 410
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 55,350评论 1 324
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 43,406评论 3 444
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 42,549评论 0 289
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 49,104评论 1 335
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 40,914评论 3 356
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 43,089评论 1 371
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 38,647评论 5 362
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 44,340评论 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 34,753评论 0 28
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 36,007评论 1 289
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 51,834评论 3 395
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 48,106评论 2 375

推荐阅读更多精彩内容