在火影的整个故事里,有人相信血统,有人相信精神,有人相信身体,有人相信眼睛,有人相信先天传承,有人相信后天努力。只有大蛇丸,他相信科学。(from网络热评)
总所周知,大蛇丸是个科学家。这天啊,大蛇丸试验了一批可以在短时间内增加查克拉的药物,数据如下:
编号 | 实验前 | 实验后 |
---|---|---|
1 | 6 | 10 |
2 | 8 | 13 |
3 | 3 | 6 |
4 | 8 | 10 |
5 | 7 | 11 |
6 | 6 | 8 |
7 | 6 | 7 |
8 | 5 | 8 |
由于这两个样本来自不同的总体(实验前和实验后),那么怎样判断两者的差别是由于药物效果,还是由于抽样误差引起的?这时候我们就需要“假设检验”。
什么是假设检验?
假设检验亦称为“显著性检验”,是用来判断样本与样本、样本与总体的差异是由抽样误差引起还是本质差别造成的统计推断方法。
假设检验的基本步骤:
- 建立零假设H0和备选假设H1,预先选定检验水准(置信度),一般α=0.05。
- 选定统计方法,由样本观察值按相应的公式计算出统计量的大小,如X2值、t值等。根据资料的类型和特点,可分别选用Z-检验,t-检验,卡方检验等。
- 根据统计量的大小及其分布确定检验假设成立的可能性P的大小并判断结果。若P>α,结论为按α所取水准不显著,不拒绝H0,即认为差别很可能是由于抽样误差造成的,在统计上不成立;如果P≤α,结论为按所取α水准显著,拒绝H0,接受H1,则认为此差别不大可能仅由抽样误差所致,很可能是实验因素不同造成的,故在统计上成立。
怎么选择零假设?
零假设认为差别是由于抽样误差造成的,具体可以分以下几种情况:
- 关于一种药物(或者实验)有效无效,一般认为无效是H0,有效是H1。
- 关于稳定性的问题,一般认为原状态是H0,改变是H1。
- 相不相等的问题,一般认为等于是H0,大于等于是H1。
t-检验、F-检验、Z-检验的区别?
几种检验方法都是根据不同的分布情况而来的,具体可以看以下文章:
t-检验和Z-检验
t-检验和Z-检验都是用于检验样本均值是否符合某个假设值(例如两个样本均值是否相等)。t-检验用于小样本(<30),Z-检验用于大样本(>30)。
t-检验可以用于检验样本为来自一元正态分布的总体期望,即均值;也可检验2个来自正态分布总体的样本均值是否相等。t-检验还可以对线性回归系数的显著性进行检验,在多元回归分析中,先用F-检验考察整个回归方程的显著性,再对每个系数是否为零进行t-检验。
t-检验分为成对样本均值差(一个样本进行前后两次实验进行检验,也就是本文大蛇丸的例子)、等方差双样本、异方差双样本三种。在R语言中,t.test()默认的是异方差双样本检验。具体操作方法可参考以下文章:
为什么t检验更常用?
实际情况中,在样本量较大的情况下,还是t-检验较为常用,这是为什么呢?
第一点原因,使用Z-检验需要知道总体的方差,然而在很多情况下这是难以知道的。
第二点原因,t-检验是可以代替Z-检验的。根据中心极限定理:
当总体分布是正态分布时,对任意样本量n,抽样均值分布均为正态分布。如果总体为非正态分布,仅在n值较大的情况下,样本均值分布近似为正态分布。
总体服从正态分布的数据在小样本时呈现为t分布形态,而服从t分布的数据在样本较大时会渐近于正态分布,也就是无论样本大小,均可以使用T检验。但对于Z检验来说,它一定需要数据是正态分布的,小样本时服从t分布而不是正态,所以z检验通常用在大样本时而不是小样本时,显然t检验的使用条件比z检验宽松,可以完全替代z检验。
F-检验/方差分析(ANOVA)
方差分析(ANOVA)又称“变异数分析”或“F检验”,和t-检验、Z-检验不同,F-检验判断的不是均值,而是判断两样本的方差是否相等。这是选择何种t-检验的前提。
一个复杂的事物,其中往往有许多因素互相制约又互相依存。方差分析的目的是通过数据分析找出对该事物有显著影响的因素、各因素之间的交互作用,以及显著影响因素的最佳水平等。
方差分析可分为单因素、无重复双因素、有重复双因素三种,详细R语言实例参考下文:
卡方检验
卡方检验属于非参数检验的范畴,主要是比较两个及两个以上分类变量样本率以及两个分类变量的关联性(差异性)分析,因此卡方检验又称为独立性检验。
以一个2*2的列联表为例,用95%显著水平,检验色觉与性别是否相关:
男 | 女 | 合计 | |
---|---|---|---|
正常 | 442 | 514 | 954 |
色盲 | 38 | 6 | 44 |
合计 | 480 | 520 | 1000 |
step1
H0:色觉与性别相互不独立;H1:色觉与性别相互独立
step2
自由度df=(r-1)(c-1)=(2-1)(2-1)=1,理论频数计算:
男 | 女 | 合计 | |
---|---|---|---|
正常 | 956×480/1000=459 | 956×520/1000=497 | 954 |
色盲 | 44×480/1000=21 | 44×520/1000=23 | 44 |
合计 | 480 | 520 | 1000 |
Step3
计算统计量:
男 | 女 | 合计 | |
---|---|---|---|
正常 | (442-459)^2/459=0.6 | (514-497)^2/497=0.6 | 1.2 |
色盲 | (38-21)^2/21=13.5 | (6-23)^2/23=12.5 | 25.9 |
合计 | 14.1 | 13 | 27.1 |
Step4
查分布临界值:
统计推断:χ2=27.1>5.0239拒绝原假设,即色盲与性别相互独立。