商务与经济统计——方差分析

1. 基础概念及其定义

1.0 方差分析

方差分析背后的逻辑是以共同总体方差 $\sigma^2$ 的两个独立的估计量为基础。 $\sigma^2$ 的一个估计量是以样本均值它们自己之间的变异性为依据， $\sigma^2$ 的另一个估计是每个样本内部数据的变异性为依据。通过比较 $\sigma^2$ 的这两个估计量，我们能够确定总体均值是否相等。

1.1 关键术语

因子(factor)：即自变量。
处理(treatments)：因子的不同水平。
单因子试验：只涉及有 $k$ 个总体或处理的一个因子的试验。
响应变量：即应变量。
完全随机化设计：处理被随机地指派给实验单元的一种试验设计。

1.2 方差分析的假定

对每个总体，响应变量服从正态分布。
响应变量的方差对所有总体都是相同的。
观测值必须是独立的。

1.3 完全随机化设计的重要计算公式

假定从 $k$ 个总体或处理中的每一个抽取一个容量为 $n_j$ 的简单随机样本，对于得到的样本数据，令 $x_{ij}$ 代表第 $j$ 个处理的第 $i$ 个观测值； $n_j$ 代表第 $j$ 个处理的观测值个数； $\bar{x}_j$ 代表第 $j$ 个处理的均值； $s_j^2$ 代表第 $j$ 个处理的样本方差； $s_j$ 代表第 $j$ 个处理的样本标准差。

第 $j$ 个处理的样本均值与样本方差的计算公式如下：
$\bar{x}_j = \frac{\sum_{i=1}^{n_j}x_{ij}}{n_j} \tag{1}$
$s_j^2 = \frac{\sum_{i=1}^{n_j}(x_{ij} - \bar{x}_j)^2}{n_j-1} \tag{2}$

总样本均值的计算公式如下：
$\bar{\bar{x}} = \frac{\sum_{j=1}^{k}\sum_{i=1}^{n_j}x_{ij}}{n_T} \tag{3}$
其中 $n_T = n_1 + n_2 + \cdots + n_k$
若每个样本的容量是相等的，都为 $n$ ，则 $n_T = kn$ ，则 $(3)$ 式简化为
$\bar{\bar{x}} = \frac{\sum_{j=1}^{k}\sum_{i=1}^{n_j}x_{ij}}{kn} = \frac{\sum_{j=1}^{k}\sum_{i=1}^{n_j}\frac{x_{ij}}{n}}{k} = \frac{\sum_{j=1}^{k}\bar{x}_j}{k} \tag{4}$

均方处理（mean square due to treatment, $MSTR$ ）：
$MSTR = \frac{SSTR}{k-1} \tag{5}$
其中， $SSTR$ （sum of squares due to treatment）的计算公式如下：
$SSTR = \sum_{j=1}^{k}n_j(\bar{x}_j - \bar{\bar{x}})^2 \tag{6}$
若 $H_0$ 为真，则 $MSTR$ 给出了 $\sigma^2$ 的一个无偏估计。但是，如果 $k$ 个总体均值不相等，则 $MSTR$ 就不是 $\sigma^2$ 的无偏估计；在这种情形下， $MSTR$ 将会高估总体方差 $\sigma^2$ 。

均方误差（mean square due to error, $MSE$ ）
$MSE = \frac{SSE}{n_T - k} \tag{7}$
其中， $SSE$ （sum of squares due to error）的计算公式如下：
$SSE = \sum_{j=1}^{k}(n_j-1)s_j^2 \tag{8}$
$MSE$ 是以每个处理内部的变异性为依据，它不受原假设是否为真的影响，因此， $MSE$ 永远给出 $\sigma^2$ 的一个无偏估计。

总平方和（ $SST$ ）
$SST = \sum_{j=1}^{k}\sum_{i=1}^{n_j}(x_{ij} - \bar{\bar{x}})^2 \tag{9}$
$SST = SSTR + SSE \tag{10}$

1.4 第一类错误概率

比较方式的第 $I$ 类错误概率：与单个两两成对比较相联系的犯第 $I$ 类错误的概率。
实验方式的第 $I$ 类错误概率：若干个两两比较中至少有一个犯第 $I$ 类错误的概率。
控制总的犯实验方式第 $I$ 类错误概率的 $Bonferroni$ 方法：如果我们想要检验 $C$ 个成对的两两比较，并希望总的犯实验方式第 $I$ 类错误的最大概率为 $\alpha_{EW}$ ，那么犯比较方式错误概率为 $\alpha_{EW}/C$ 。

1.5 随机化区组设计的重要计算公式

$k$ 代表处理个数， $b$ 代表区组个数， $n_T$ 代表总样本容量（ $n_T = kb$ ）， $x_{ij}$ 代表在区组 $i$ 中对应于处理 $j$ 的观测值， $\bar{x}_{\cdot j}$ 代表第 $j$ 个处理的样本均值， $\bar{x}_{i \cdot }$ 代表第 $i$ 个区组的样本均值， $\bar{\bar{x}}$ 代表总样本均值。
第 $1$ 步：计算总平方和（ $SST$ ）
$SST = \sum_{i=1}^{b}\sum_{j=1}^{k}(x_{ij} - \bar{\bar{x}})^2$
第 $2$ 步：计算处理平方和（ $SSTR$ ）
$SSTR = b \sum_{j=1}^{k}(\bar{x}_{\cdot j} - \bar{\bar{x}})^2$
第 $3$ 步：计算区组平方和（ $SSBL$ ）
$SSTR = k \sum_{i=1}^{b}(\bar{x}_{i \cdot} - \bar{\bar{x}})^2$
第 $4$ 步：计算误差平方和（ $SSE$ ）
$SSE = SST - SSTR - SSBL$

1.6 析因实验的重要计算公式

$a$ 代表因子 $A$ 的水平数， $b$ 代表因子 $B$ 的水平数， $r$ 代表复制的个数， $n_T$ 代表实验中观测值的总数( $n_T = abr$ )， $x_{ijk}$ 对应于因子 $A$ 的处理 $i$ 和因子 $B$ 的处理 $j$ 的第 $k$ 次复制的观测值， $\bar{x}_{i \cdot }$ 代表处理 $i$ （因子 $A$ ）的观测值的样本均值， $\bar{x}_{ \cdot j}$ 代表处理 $j$ （因子 $B$ ）的观测值的样本均值， $\bar{x}_{ij}$ 代表处理 $i$ （因子 $A$ ）和处理 $j$ （因子 $B$ ）的组合的观测值的样本均值， $\bar{\bar{x}}$ 代表总样本均值。
第 $1$ 步：计算总平方和（ $SST$ ）
$SST = \sum_{i=1}^{a} \sum_{j=1}^{b}\sum_{k=1}^{r}(x_{ijk} - \bar{\bar{x}})^2$
第 $2$ 步：计算因子 $A$ 的平方和
$SSA = br \sum_{i=1}^{a}(\bar{x}_{i \cdot} - \bar{\bar{x}})^2$
第 $3$ 步：计算因子 $B$ 的平方和
$SSB = ar \sum_{j=1}^{b}(\bar{x}_{\cdot j} - \bar{\bar{x}})^2$
第 $4$ 步：计算交互作用的平方和
$SSAB = r \sum_{i=1}^{a} \sum_{j=1}^{b}(\bar{x}_{ij} - \bar{x}_{i \cdot } - \bar{x}_{\cdot j} + \bar{\bar{x}})^2$
第 $5$ 步：计算误差平方和（ $SSE$ ）
$SSE = SST - SSA - SSB - SSAB$

2. 完全随机化实验的方差分析

2.1 k个总体均值相等的检验

建立原假设与备择假设
$H_0:\mu_1 = \mu_2 = \cdots =\mu_k \\ H_\alpha: k个总体的均值不全相等$
检验统计量
$F = \frac{MSTR}{MSE}$
拒绝法则
$p$ 值法：如果 $p$ 值 $\leqslant \alpha$ ，则拒绝 $H_0$
临界值法：如果 $F\geqslant F_{\alpha}$ ，则拒绝 $H_0$
其中， $F_\alpha$ 是分子自由度为 $k-1$ ，分母自由度为 $n_T-k$ 时，使 $F$ 分布的上侧面积或者概率为 $\alpha$ 时的 $F$ 值。

2.2 方差分析表（ANOVA表）

完全随机化设计的方差分析表

方差来源	平方和	自由度	均方	F
处理	$SSTR$	$k-1$	$MSTR = \frac{SSTR}{k-1}$	$\frac{MSTR}{MSE}$
误差	$SSE$	$n_T-k$	$MSE = \frac{SSE}{n_T - k}$
总计	$SST$	$n_T-1$

2.3 多重比较的方法

多重比较方法是在成对的总体均值之间进行统计比较，以确定在 $k$ 个均值之间到底哪几个均值之间存在差异。

2.3.1 Fisher 的LSD方法

建立原假设与备择假设
$H_0:\mu_i = \mu_j \\ H_\alpha: \mu_i \neq \mu_j$
检验统计量
$t = \frac{\bar{x_i} - \bar{x_j}}{\sqrt{MSE(\frac{1}{n_i}+\frac{1}{n_j})}}$
拒绝法则
$p$ 值法：如果 $p$ 值 $\leqslant \alpha$ ，则拒绝 $H_0$
临界值法：如果 $t\leqslant -t_{\alpha / 2}$ 或者 $t\geqslant t_{\alpha / 2}$ ，则拒绝 $H_0$
其中， $t_{\alpha/2}$ 是自由度为 $n_T-k$ 时，使 $t$ 分布的上侧面积为 $\alpha/2$ 时的 $t$ 值。

2.3.2 基于检验统计量 $\bar{x_i} - \bar{x_j}$ 的 Fisher 的LSD方法

建立原假设与备择假设
$H_0:\mu_i = \mu_j \\ H_\alpha: \mu_i \neq \mu_j$
检验统计量
$\bar{x_i} - \bar{x_j}$
显著性水平 $\alpha$ 下的拒绝法则
如果 $|\bar{x_i} - \bar{x_j}| > LSD$ ，则拒绝 $H_0$
式中
$LSD = t_{\alpha/2} \sqrt{MSE(\frac{1}{n_i}+\frac{1}{n_j})} \tag{11}$
其中， $t_{\alpha/2}$ 是自由度为 $n_T-k$ 时，使 $t$ 分布的上侧面积为 $\alpha/2$ 时的 $t$ 值。

2.4 应用 Fisher 的LSD方法的两个总体均值之间的置信区间估计

$\bar{x_i} - \bar{x_j} \pm LSD \tag{12}$
式中
$LSD = t_{\alpha/2} \sqrt{MSE(\frac{1}{n_i}+\frac{1}{n_j})}$
其中， $t_{\alpha/2}$ 是自由度为 $n_T-k$ 时，使 $t$ 分布的上侧面积为 $\alpha/2$ 时的 $t$ 值。
如果式 $(12)$ 的置信区间包含数值 $0$ ，则我们不能拒绝两个总体均值相等的原假设；如果式 $(12)$ 的置信区间不包含数值 $0$ ，则我们可以得出两个总体均值之差存在差异的结论。

3. 随机化区组设计的方差分析

区组划分的过程就是对所有的处理使用相同的或者相似的实验单元的过程，区组划分的目的是从误差项中删除来自外部的变异，因此给出了总体或处理均值之间是否存在差异的更有力的检验。

3.1 k个处理，b个区组的随机化区组设计的 ANOVA 表

方差来源	平方和	自由度	均方	F
处理	$SSTR$	$k-1$	$MSTR = \frac{SSTR}{k-1}$	$\frac{MSTR}{MSE}$
区组	$SSBL$	$b-1$	$MSBL = \frac{SSBL}{b-1}$
误差	$SSE$	$(k-1)(b-1)$	$MSE = \frac{SSE}{(k-1)(b-1)}$
总计	$SST$	$n_T-1$

因为有 $b$ 个区组使得自由度减少了 $b-1$ ，所以随机化区组设计的误差自由度小于完全随机化设计的误差自由度。如果 $n$ 很小，因为误差自由度的减少，区组的潜在影响可能被掩盖；当 $n$ 很大时，这种影响被最小化了。

4. 析因实验的方差分析

析因实验的实验设计方法允许我们得到有关两个或者两个以上因子同时存在的统计结论。

4.1 有r个复制的两因子析因实验的的 ANOVA 表

方差来源	平方和	自由度	均方	F
因子 $A$	$SSA$	$a-1$	$MSA = \frac{SSA}{a-1}$	$\frac{MSA}{MSE}$
因子 $B$	$SSB$	$b-1$	$MSB = \frac{SSB}{b-1}$	$\frac{MSB}{MSE}$
交互作用	$SSAB$	$(a-1)(b-1)$	$MSAB = \frac{SSBAB}{(a-1)(b-1)}$	$\frac{MSAB}{MSE}$
误差	$SSE$	$ab(r-1)$	$MSE = \frac{SSE}{ab(r-1)}$
总计	$SST$	$n_T-1$

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 218,386评论 6赞 506
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 93,142评论 3赞 394
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 164,704评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,702评论 1赞 294
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,716评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,573评论 1赞 305
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,314评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,230评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,680评论 1赞 314
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,873评论 3赞 336
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,991评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,706评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,329评论 3赞 330
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,910评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,038评论 1赞 270
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,158评论 3赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,941评论 2赞 355