A/B实验进阶——通过实验前数据减小方差（CUPED）

CUPED（Controlled-experiment Using Pre-Experiment Data）是一种通过联系实验前数据，让方差变小的方法。
(简书的Latex解析经常不对，部分公式显示可能错误，如\bar{X}被显示为X^2)

目的(what)

通过数据变换，得到更小的方差。

为什么要减小方差(why)

A/B实验结果取决于实验组方差（var）、效果（ $\Delta$ ）:
$t = \frac { \Delta }{var(\Delta) } = \frac { \bar { Y_{t} } - \bar { Y_{c} }}{\sqrt {var(\bar {Y_t} - \bar {Y_c}) } }$

var变小，会让结果更加容易显著。

方法(how)

1. 思路

构建 $\Delta^*$ ，满足：

$\Delta^*$ 与 $\Delta$ 一样，是 $E(Y_t - Y_c)$ 的无偏估计；
$\Delta^*$ 相对 $\Delta$ ，方差更小。

使用 $\Delta^*$ 来评估实验效果，效果相似，方差变小。

2. 原理

如果有另一随机变量 $X$ ，并且已知 $E(X)$ 。则有互相独立的二维随机变量 $(X_i, Y_i)$ ，定义：

$\hat{Y}_{cu} = \bar{Y} - \theta \bar{X} + \theta E(X)$

由于 $E( \theta E(X)-\theta \bar{X}) = 0$ ，所以 $\hat{Y}_{cu}$ 是 $E(Y)$ 的无偏估计，则：
$var(\hat{Y}_{cu}) = var(Y - \theta X) / n = \frac {1} {n} (var(Y) + \theta^2 var(X) - 2\theta cov(X,Y))$ ，
当 $\theta = cov(X,Y) / var(X)$ 时， $var(\hat{Y}_{cu})$ 的值最小（线性回归，最小二乘法），此时：

$var (\hat{Y}_{cu}) = \frac {1}{n}(var(Y) - cov(X,Y)^{2}/var(X)) = \frac{var(Y)}{n} (1 - \frac { cov(X,Y)^{2}}{var(X)var(Y)}) = var ( \bar{Y} ) (1 - \rho ^{2} ) \leq var( \bar {Y})$

$X$ 与 $Y$ 的相关系数越大，得到的方差越小。

3. 扩展到A/B

如果选择的 $X$ 不会被实验干扰，则 $E( X ^ {t} ) - E( X ^ {c} ) = 0$ ，
实验组、对照组在零假设下还有相同的 $\theta$ ，得：

$\Delta_{cv} = \hat {Y}_{cu} ^{t} - \hat{Y}_{cu}^{c} = ( \bar {Y}_{cu} ^{t} - \bar {Y}_{cu}^{c} ) - \theta(\bar{X}_{cu}^{t} - \bar {X}_{cu}^{c}) + \theta (E( X ^ {t} - X ^ {c} ) ) = \Delta - \theta \Delta _ { x }$ ，得到
$var(\Delta_{cv}) = var(\Delta)(1-\rho ^2)$