商务与经济统计——方差分析

1. 基础概念及其定义

1.0 方差分析

方差分析背后的逻辑是以共同总体方差 $\sigma^2$ 的两个独立的估计量为基础。 $\sigma^2$ 的一个估计量是以样本均值它们自己之间的变异性为依据， $\sigma^2$ 的另一个估计是每个样本内部数据的变异性为依据。通过比较 $\sigma^2$ 的这两个估计量，我们能够确定总体均值是否相等。

1.1 关键术语

因子(factor)：即自变量。
处理(treatments)：因子的不同水平。
单因子试验：只涉及有 $k$ 个总体或处理的一个因子的试验。
响应变量：即应变量。
完全随机化设计：处理被随机地指派给实验单元的一种试验设计。

1.2 方差分析的假定

对每个总体，响应变量服从正态分布。
响应变量的方差对所有总体都是相同的。
观测值必须是独立的。

1.3 完全随机化设计的重要计算公式

假定从 $k$ 个总体或处理中的每一个抽取一个容量为 $n_j$ 的简单随机样本，对于得到的样本数据，令 $x_{ij}$ 代表第 $j$ 个处理的第 $i$ 个观测值； $n_j$ 代表第 $j$ 个处理的观测值个数； $\bar{x}_j$ 代表第 $j$ 个处理的均值； $s_j^2$ 代表第 $j$ 个处理的样本方差； $s_j$ 代表第 $j$ 个处理的样本标准差。

第 $j$ 个处理的样本均值与样本方差的计算公式如下：
$\bar{x}_j = \frac{\sum_{i=1}^{n_j}x_{ij}}{n_j} \tag{1}$
$s_j^2 = \frac{\sum_{i=1}^{n_j}(x_{ij} - \bar{x}_j)^2}{n_j-1} \tag{2}$

总样本均值的计算公式如下：
$\bar{\bar{x}} = \frac{\sum_{j=1}^{k}\sum_{i=1}^{n_j}x_{ij}}{n_T} \tag{3}$
其中 $n_T = n_1 + n_2 + \cdots + n_k$
若每个样本的容量是相等的，都为 $n$ ，则 $n_T = kn$ ，则 $(3)$ 式简化为
$\bar{\bar{x}} = \frac{\sum_{j=1}^{k}\sum_{i=1}^{n_j}x_{ij}}{kn} = \frac{\sum_{j=1}^{k}\sum_{i=1}^{n_j}\frac{x_{ij}}{n}}{k} = \frac{\sum_{j=1}^{k}\bar{x}_j}{k} \tag{4}$

均方处理（mean square due to treatment, $MSTR$ ）：
$MSTR = \frac{SSTR}{k-1} \tag{5}$
其中， $SSTR$ （sum of squares due to treatment）的计算公式如下：
$SSTR = \sum_{j=1}^{k}n_j(\bar{x}_j - \bar{\bar{x}})^2 \tag{6}$
若 $H_0$ 为真，则 $MSTR$ 给出了 $\sigma^2$ 的一个无偏估计。但是，如果 $k$ 个总体均值不相等，则 $MSTR$ 就不是 $\sigma^2$ 的无偏估计；在这种情形下， $MSTR$ 将会高估总体方差 $\sigma^2$ 。

均方误差（mean square due to error, $MSE$ ）
$MSE = \frac{SSE}{n_T - k} \tag{7}$
其中， $SSE$ （sum of squares due to error）的计算公式如下：
$SSE = \sum_{j=1}^{k}(n_j-1)s_j^2 \tag{8}$
$MSE$ 是以每个处理内部的变异性为依据，它不受原假设是否为真的影响，因此， $MSE$ 永远给出 $\sigma^2$ 的一个无偏估计。

总平方和（ $SST$ ）
$SST = \sum_{j=1}^{k}\sum_{i=1}^{n_j}(x_{ij} - \bar{\bar{x}})^2 \tag{9}$
$SST = SSTR + SSE \tag{10}$

1.4 第一类错误概率

比较方式的第 $I$ 类错误概率：与单个两两成对比较相联系的犯第 $I$ 类错误的概率。
实验方式的第 $I$ 类错误概率：若干个两两比较中至少有一个犯第 $I$ 类错误的概率。
控制总的犯实验方式第 $I$ 类错误概率的 $Bonferroni$ 方法：如果我们想要检验 $C$ 个成对的两两比较，并希望总的犯实验方式第 $I$ 类错误的最大概率为 $\alpha_{EW}$ ，那么犯比较方式错误概率为 $\alpha_{EW}/C$ 。

1.5 随机化区组设计的重要计算公式

$k$ 代表处理个数， $b$ 代表区组个数， $n_T$ 代表总样本容量（ $n_T = kb$ ）， $x_{ij}$ 代表在区组 $i$ 中对应于处理 $j$ 的观测值， $\bar{x}_{\cdot j}$ 代表第 $j$ 个处理的样本均值， $\bar{x}_{i \cdot }$ 代表第 $i$ 个区组的样本均值， $\bar{\bar{x}}$ 代表总样本均值。
第 $1$ 步：计算总平方和（ $SST$ ）
$SST = \sum_{i=1}^{b}\sum_{j=1}^{k}(x_{ij} - \bar{\bar{x}})^2$
第 $2$ 步：计算处理平方和（ $SSTR$ ）
$SSTR = b \sum_{j=1}^{k}(\bar{x}_{\cdot j} - \bar{\bar{x}})^2$
第 $3$ 步：计算区组平方和（ $SSBL$ ）
$SSTR = k \sum_{i=1}^{b}(\bar{x}_{i \cdot} - \bar{\bar{x}})^2$
第 $4$ 步：计算误差平方和（ $SSE$ ）
$SSE = SST - SSTR - SSBL$

1.6 析因实验的重要计算公式

$a$ 代表因子 $A$ 的水平数， $b$ 代表因子 $B$ 的水平数， $r$ 代表复制的个数， $n_T$ 代表实验中观测值的总数( $n_T = abr$ )， $x_{ijk}$ 对应于因子 $A$ 的处理 $i$ 和因子 $B$ 的处理 $j$ 的第 $k$ 次复制的观测值， $\bar{x}_{i \cdot }$ 代表处理 $i$ （因子 $A$ ）的观测值的样本均值， $\bar{x}_{ \cdot j}$ 代表处理 $j$ （因子 $B$ ）的观测值的样本均值， $\bar{x}_{ij}$ 代表处理 $i$ （因子 $A$ ）和处理 $j$ （因子 $B$ ）的组合的观测值的样本均值， $\bar{\bar{x}}$ 代表总样本均值。
第 $1$ 步：计算总平方和（ $SST$ ）
$SST = \sum_{i=1}^{a} \sum_{j=1}^{b}\sum_{k=1}^{r}(x_{ijk} - \bar{\bar{x}})^2$
第 $2$ 步：计算因子 $A$ 的平方和
$SSA = br \sum_{i=1}^{a}(\bar{x}_{i \cdot} - \bar{\bar{x}})^2$
第 $3$ 步：计算因子 $B$ 的平方和
$SSB = ar \sum_{j=1}^{b}(\bar{x}_{\cdot j} - \bar{\bar{x}})^2$
第 $4$ 步：计算交互作用的平方和
$SSAB = r \sum_{i=1}^{a} \sum_{j=1}^{b}(\bar{x}_{ij} - \bar{x}_{i \cdot } - \bar{x}_{\cdot j} + \bar{\bar{x}})^2$
第 $5$ 步：计算误差平方和（ $SSE$ ）
$SSE = SST - SSA - SSB - SSAB$

2. 完全随机化实验的方差分析

2.1 k个总体均值相等的检验

建立原假设与备择假设
$H_0:\mu_1 = \mu_2 = \cdots =\mu_k \\ H_\alpha: k个总体的均值不全相等$
检验统计量
$F = \frac{MSTR}{MSE}$
拒绝法则
$p$ 值法：如果 $p$ 值 $\leqslant \alpha$ ，则拒绝 $H_0$
临界值法：如果 $F\geqslant F_{\alpha}$ ，则拒绝 $H_0$
其中， $F_\alpha$ 是分子自由度为 $k-1$ ，分母自由度为 $n_T-k$ 时，使 $F$ 分布的上侧面积或者概率为 $\alpha$ 时的 $F$ 值。

2.2 方差分析表（ANOVA表）

完全随机化设计的方差分析表

方差来源	平方和	自由度	均方	F
处理	$SSTR$	$k-1$	$MSTR = \frac{SSTR}{k-1}$	$\frac{MSTR}{MSE}$
误差	$SSE$	$n_T-k$	$MSE = \frac{SSE}{n_T - k}$
总计	$SST$	$n_T-1$

2.3 多重比较的方法

多重比较方法是在成对的总体均值之间进行统计比较，以确定在 $k$ 个均值之间到底哪几个均值之间存在差异。

2.3.1 Fisher 的LSD方法

建立原假设与备择假设
$H_0:\mu_i = \mu_j \\ H_\alpha: \mu_i \neq \mu_j$
检验统计量
$t = \frac{\bar{x_i} - \bar{x_j}}{\sqrt{MSE(\frac{1}{n_i}+\frac{1}{n_j})}}$
拒绝法则
$p$ 值法：如果 $p$ 值 $\leqslant \alpha$ ，则拒绝 $H_0$
临界值法：如果 $t\leqslant -t_{\alpha / 2}$ 或者 $t\geqslant t_{\alpha / 2}$ ，则拒绝 $H_0$
其中， $t_{\alpha/2}$ 是自由度为 $n_T-k$ 时，使 $t$ 分布的上侧面积为 $\alpha/2$ 时的 $t$ 值。

2.3.2 基于检验统计量 $\bar{x_i} - \bar{x_j}$ 的 Fisher 的LSD方法

建立原假设与备择假设
$H_0:\mu_i = \mu_j \\ H_\alpha: \mu_i \neq \mu_j$
检验统计量
$\bar{x_i} - \bar{x_j}$
显著性水平 $\alpha$ 下的拒绝法则
如果 $|\bar{x_i} - \bar{x_j}| > LSD$ ，则拒绝 $H_0$
式中
$LSD = t_{\alpha/2} \sqrt{MSE(\frac{1}{n_i}+\frac{1}{n_j})} \tag{11}$
其中， $t_{\alpha/2}$ 是自由度为 $n_T-k$ 时，使 $t$ 分布的上侧面积为 $\alpha/2$ 时的 $t$ 值。

2.4 应用 Fisher 的LSD方法的两个总体均值之间的置信区间估计

$\bar{x_i} - \bar{x_j} \pm LSD \tag{12}$
式中
$LSD = t_{\alpha/2} \sqrt{MSE(\frac{1}{n_i}+\frac{1}{n_j})}$
其中， $t_{\alpha/2}$ 是自由度为 $n_T-k$ 时，使 $t$ 分布的上侧面积为 $\alpha/2$ 时的 $t$ 值。
如果式 $(12)$ 的置信区间包含数值 $0$ ，则我们不能拒绝两个总体均值相等的原假设；如果式 $(12)$ 的置信区间不包含数值 $0$ ，则我们可以得出两个总体均值之差存在差异的结论。

3. 随机化区组设计的方差分析

区组划分的过程就是对所有的处理使用相同的或者相似的实验单元的过程，区组划分的目的是从误差项中删除来自外部的变异，因此给出了总体或处理均值之间是否存在差异的更有力的检验。

3.1 k个处理，b个区组的随机化区组设计的 ANOVA 表

方差来源	平方和	自由度	均方	F
处理	$SSTR$	$k-1$	$MSTR = \frac{SSTR}{k-1}$	$\frac{MSTR}{MSE}$
区组	$SSBL$	$b-1$	$MSBL = \frac{SSBL}{b-1}$
误差	$SSE$	$(k-1)(b-1)$	$MSE = \frac{SSE}{(k-1)(b-1)}$
总计	$SST$	$n_T-1$

因为有 $b$ 个区组使得自由度减少了 $b-1$ ，所以随机化区组设计的误差自由度小于完全随机化设计的误差自由度。如果 $n$ 很小，因为误差自由度的减少，区组的潜在影响可能被掩盖；当 $n$ 很大时，这种影响被最小化了。

4. 析因实验的方差分析

析因实验的实验设计方法允许我们得到有关两个或者两个以上因子同时存在的统计结论。

4.1 有r个复制的两因子析因实验的的 ANOVA 表

方差来源	平方和	自由度	均方	F
因子 $A$	$SSA$	$a-1$	$MSA = \frac{SSA}{a-1}$	$\frac{MSA}{MSE}$
因子 $B$	$SSB$	$b-1$	$MSB = \frac{SSB}{b-1}$	$\frac{MSB}{MSE}$
交互作用	$SSAB$	$(a-1)(b-1)$	$MSAB = \frac{SSBAB}{(a-1)(b-1)}$	$\frac{MSAB}{MSE}$
误差	$SSE$	$ab(r-1)$	$MSE = \frac{SSE}{ab(r-1)}$
总计	$SST$	$n_T-1$