置信区间 confidence interval

预备知识

这里提到的内容可能在其他笔记中有出现，但是考虑到重复能够加深记忆，就这样吧。

随机变量之差的方差

已知条件：
$E(x)=\mu_x, E(y)=\mu_y$
$Var(x)=E((x-\mu_x)^2)=\sigma^2_x, Var(y)=E((y-\mu_y)^2)=\sigma^2_y$ 。

另有随机变量 $z=x+y$ ，那么有：
$E(z)=E(x+y)=E(x)+E(y) \Rightarrow \mu_z=\mu_x+\mu_y$
这是很好理解的，相当于两个色子的点数相加后的期望，当然是每个色子期望之和。类似的，还有 $E(x-y)=E(x)-E(y)$ 。

比较不那么显然是方差的情况，这里作一个简单说明：
$Var(z)=E((z-\mu_z)^2)=E((x+y-(\mu_x+\mu_y))^2)$
$=E((x-\mu_x)^2+(y-\mu_y)^2-2(x-\mu_x)(y-\mu_y))$
$=E((x-\mu_x)^2)+E((y-\mu_y)^2)-E(2(x-\mu_x)(y-\mu_y))$
$=Var(x)+Var(y)$
这里的 $E(2(x-\mu_x)(y-\mu_y))$ 相当于是把随机变量的值累加再减去均值的累加，结果当然是0。因此第三项前面无论是正号还是负号，都不影响结果，因此我们可以说：
$Var(x \pm y)=Var(x)+Var(y)$
结论：随机变量之差(和)的方差为这些随机变量方差之和。

顺便看一下相反数的情况：
$Var(-x)=E((-x-(-\mu_x))^2)=E((-1)^2(x-\mu_x)^2)=Var(x)$
结论：随机变量与其相反数方差相等。

样本均值之差的分布

已知条件：
有两个随机变量 $x,y$ 的某种分布，不一定是正态分布。但是根据中心极限定理，我们可以确定它们的样本均值的抽样分布符合正态分布。
不过这里先假设 $x \sim(\mu_x, \sigma_x^2), y \sim(\mu_y, \sigma_y^2)$ 。

关于抽样分布的参数：
均值：根据中心极限定理，其均值和总体相同，即 $\mu_{\bar{x}}=\mu_x, \mu_{\bar{y}}=\mu_y$ 。
方差： $\sigma_\bar{x}^2 = \dfrac{\sigma_x^2}{n}, \sigma_\bar{y}^2 = \dfrac{\sigma_y^2}{m}$ ， $m,n$ 为样本的大小。

证明：
样本中的元素假设都是独立的 $x_1, x_2 ... x_n$ 。可以理解把一次抽n个变成每次抽一个，抽n次（有放回地抽取）。因此 $Var(x_1)=...=Var(x_n)=\sigma$ 都等于总体标准差。记该样本的均值为 $\bar{x}$ 。
$Var( \bar{ x })=Var(\dfrac{x_1+...+x_n}{n})=\dfrac{1}{n^2}\sum Var(x_i)=\dfrac{1}{n}\sigma^2$

现在来看样本均值之差的分布，为了方便，记这个差值为随机变量 $z$ ：
$\mu_z =E(\bar{x}-\bar{y})=E(\bar{x})-E(\bar{y})=\mu_x-\mu_y$
$\sigma_z^2=Var(\bar{x}-\bar{y})=Var(\bar{x})+Var(\bar{y})=\dfrac{\sigma_x^2}{n}+\dfrac{\sigma_y^2}{m}$

均值之差的置信区间

在不同的场合下，置信区间有不同的用法，这里用于均值之差。
有这样一个实验：实验组食用低脂肪食物，对照组食用等量非低脂肪食物。均为100人，一段时间后，实验组体重减少的均值为9.31，标准差4.67。对照组体重减少的均值为7.40，标准差4.04。(假定这里的标准差是无偏的)
由于我们要看的是该种减肥方式对所有人总体的效果，因此测试这部分人只能算作样本，现在，我们是在通过样本估计总体。大部分实验都是这个基本思路。
为了判断低脂肪食物是否真的有减肥作用，我们来观察差值 $z=x-y$ 的分布情况。其中， $x$ 是实验组的随机变量， $y$ 是对照组的随机变量。
从抽样的情况看，均值相差：9.31 - 7.40 = 1.91，看起来低脂肪食物是有效的。我们进一步通过置信区间来明确这个有效的程度。
$\mu_{\bar{z}} = \mu_{\bar{x}} - \mu_{\bar{y}}$
$\sigma_{\bar{z}}^2=\sigma_{\bar{x}}^2+\sigma_{\bar{y}}^2$
$= \dfrac{\sigma_x^2}{n}+\dfrac{\sigma_y^2}{m}$ （这里 $n=m=100$ ）

但是我们不知道总体的方差。但是我们可以通过一次抽样的无偏估计来估算总体的方差。因此继续：

$=\dfrac{S_x^2}{n}+\dfrac{S_y^2}{m}=\dfrac{4.67^2+4.04^2}{100}=0.381305 \Rightarrow \sigma_{\bar{z}}=\sqrt{0.381305}=0.617$
于是 $\bar{z}\sim N(\mu=1.91, \sigma=0.617)$ 。

假如我们选择95%置信区间，它的含义就是说，大约在100次抽样中，有95次这个差值会命中我们的这个区间。那么怎么算这个区间呢？
我们已经计算出 $\bar{z}$ 的分布了，也就是假如我们抽样非常多次，最后的 $z$ 的概率密度曲线就是我们所计算的那个正态分布的曲线。那么要有95%的命中率，我们当然就应该让这个区间对应的曲线下的面积为95%。
查表可得：在区间 $[\mu-1.96\sigma, \mu+1.96\sigma]$ 之间的面积是95%，那么我们可以算出：