多重检验——FWER,FDR,FCR

在A/B实验设计——如何避免多重检验错误中，介绍了什么是多重检验，并且介绍了Bonferroni correction、Holm–Bonferroni method。本篇将更深入讨论应对多重检验的策略。

在m个假设检验中，m0个零假设为真，R是观察到的显著情况的随机变量，S、T、U、V都是不可观测的随机变量。

代表一系列检验中，至少存在一个假阳性的概率：
$FWER = P_r(V >= 1)$

无论检验间是否独立的， $\alpha \leq m * \alpha_{sub}$ 都成立。
利用这个不等式，可以通过Bonferroni correction、Holm–Bonferroni method来对FWER进行控制。

由于FWER限制过于严格，会导致power相对比较低，容易错失正确的决策机会。
例如当两个比较是完全相关，多次比较并不会增加假阳性水平，但是矫正后却增加了假阴性。

发现中假阳性错误的比例期望：
$Q = V / R,$
$FDR = Q_E = E[Q] = E[V/R|R>0]*P(R > 0)$

检验间独立或者正相关情况下，HB过程控制结果满足：
$E(Q) \leq \frac{m_0}{m}\alpha \leq \alpha$

如何理解？

设共有 $M$ 个假设， $M_0$ 个零假设为真，它们的P值为均匀分布，显著水平为 $h$ ，则期望的假阳性数量为 $h * M_0$ ;
红线的斜率为 $\alpha / M$ ，红线下方最大的P值对应的序号为 $L$ ；
拒绝零假设中，期望的假阳性数为 $h * M_0 = M_0\frac{\alpha * L}{M}$ ，因此:
$FDR \leq \frac{M_0\frac{\alpha * L}{M}}{L} = \alpha *{ M_0} / M \leq \alpha$