商务与经济统计——回归

0. 主要概念及其定义

最小二乘法准则
$min \sum (y_i - \hat{y}_i)^2$
误差平方和
$SSE = \sum (y_i - \hat{y}_i)^2$
总平方和
$SST = \sum (y_i - \bar{y}) ^2$
回归平方和
$SSR = \sum (\hat{y}_i - \bar{y})^2$
$SST,SSR,SSE$ 之间的关系
$SST = SSE+SSR$
判定系数
$R^2 = \frac{SSR}{SST} = 1- \frac{SSE}{SST} = 1 - \frac{\sum (y_i - \hat{y}_i)^2}{ \sum (y_i - \bar{y}) ^2}$
如果我们用一个百分比来表示判定系数，则 $r^2$ 可以理解为总平方和中能被估计的回归方程解释的百分比。也即应变量的变异性有多少百分比能被回归方程所解释。
修正多元判定系数
$R_{\alpha } = 1 - (1- R^2)\frac{n-1}{n-p-1}$
其中， $n$ 代表观测值的数目， $p$ 表示自变量的数目。
样本相关系数
$r_{xy} = (b_1的符号)\sqrt{判定系数} = (b_1的符号)\sqrt{R^2}$
其中 $b_1$ 为估计的回归方程 $\hat{y} = b_0 + b_1x$ 的斜率。
在两变量之间存在一个线性关系的情况下，判定系数和样本相关系数都给出了它们之间线性关系强度的度量。但是样本相关系数被限制在两变量之间存在线性关系的情况，而判定系数对非线性关系以及有两个或两个以上自变量的相关关系都适用。

1. 简单线性回归

含有一个自变量和一个应变量，并且两个变量之间的关系用一条直线近似的回归分析。

1.2 模型的假定

关于回归模型 $y = \beta_0 + \beta_1x + \epsilon$ 的误差项 $\epsilon$ 的假定

误差项 $\epsilon$ 是一个平均值或者期望值为零的随机变量，即 $E(\epsilon) = 0$ 。
这就意味着，因为 $\beta_0$ 和 $\beta_1$ 都是常数，所以有 $E(\beta_0) = \beta_0$ 和 $E(\beta_1) = \beta_1$ ；于是，对于一个给定的 $x$ 值， $y$ 的期望是 $E(y) = \beta_0 + \beta_1x$
对所有的 $x$ 值， $\epsilon$ 的方差都是相同的，用 $\sigma^2$ 表示方差。
这就意味着， $y$ 关于回归直线的方差等于 $\sigma^2$ ，也就是说，对于所有的 $x$ ， $y$ 的方差都是相等的。
$\epsilon$ 的值是相互独立的。
这就意味着，对于一个特定的 $x$ 值，它所对应的 $\epsilon$ 值与任何其他的 $x$ 值所对应的 $\epsilon$ 值不相关。
对所有的 $x$ 值，误差项 $\epsilon$ 是一个正态分布的随机变量。
这就意味着，因为 $y$ 是 $\epsilon$ 的一个线性函数，所以对所有的 $x$ 值， $y$ 也是一个正态分布的随机变量。

1.3 显著性检验

对于简单线性回归模型 $y = \beta_0 + \beta_1x + \epsilon$ ，如果 $x$ 和 $y$ 之间存在一个线性关系，则必须有 $\beta_1 \neq 0$ 。显著性检验的目的就是我们能否断定 $\beta_1 \neq 0$ 。

1.3.1 $\sigma^2$ 的估计

残差平方和 $SSE$ 是实际观测值关于估计的回归直线变异性的度量， $SSE$ 除以它的自由度，得到的均方误差 $MSE$ 是 $\sigma^2$ 的一个估计量。为了计算 $SSE$ ，必须估计两个参数 $\beta_0$ 和 $\beta_1$ ，所以 $SSE$ 的自由度为 $n-2$ 。
$s^2 = MSE = \frac{SSE}{n-2}$

1.3.2 $t$ 检验

建立原假设和备择假设
$H_0: \beta_1 = 0 \\ H_\alpha: \beta_1 \neq 0$
检验统计量
$t = \frac{b_1}{s_{b_1}}$
拒绝法则
$p$ 值法：如果 $p$ 值 $\leqslant \alpha$ ，则拒绝 $H_0$
临界值法：如果 $t\leqslant -t_{\alpha / 2}$ 或者 $t\geqslant t_{\alpha / 2}$ ，则拒绝 $H_0$
其中， $t_{\alpha/2}$ 为自由度 $n-2$ 的 $t$ 分布上侧的面积为 $\alpha /2$ 时对应的 $t$ 值。

$b_1$ 的抽样分布

期望值
$E(b_1) = \beta_1$
标准差
$\sigma_{b_{1}} = \frac{\sigma }{\sqrt{\sum (x_i - \bar{x})^2}}$
分布形式：正态分布
估计的标准差
$s_{b_{1}} = \frac{s }{\sqrt{\sum (x_i - \bar{x})^2}}$

1.3.3 $\beta_1$ 的置信区间

$b_1 \pm t_{\alpha/2}s_{b_{1}}$
其中， $b_1$ 为 $\beta_1$ 的点估计量； $t_{\alpha/2}s_{b_{1}}$ 为边际误差。 $t_{\alpha/2}$ 为自由度 $n-2$ 的 $t$ 分布上侧的面积为 $\alpha /2$ 时对应的 $t$ 值。我们可以利用置信区间对 $\beta_1$ 进行任何双侧假设检验，如果 $\beta_1$ 的假设值包括在置信区间里，则不拒绝 $H_0$ ，否则，拒绝 $H_0$ 。

1.3.4 $F$ 检验

建立原假设和备择假设
$H_0: \beta_1 = 0 \\ H_\alpha: \beta_1 \neq 0$
检验统计量
$F = \frac{MSR}{MSE}$
拒绝法则
$p$ 值法：如果 $p$ 值 $\leqslant \alpha$ ，则拒绝 $H_0$
临界值法：如果 $F\geqslant F_{\alpha }$ ，则拒绝 $H_0$
其中， $F_{\alpha}$ 为分子自由度 $1$ ，分母自由为 $n-2$ 时，使 $F$ 分布上侧的面积为 $\alpha$ 时对应的 $F$ 值， $MSR$ 的计算公式如下：
$MSR = \frac{SSR}{回归自由度} = \frac{SSR}{自变量的个数}$

如果 $H_0$ 不成立， $MSE$ 仍然是 $\sigma^2$ 的一个无偏估计量，而 $MSR$ 会高估 $\sigma^2$ ；如果 $H_0$ 成立， $MSE$ 和 $MSR$ 都是 $\sigma^2$ 的无偏估计量，在这种情况下， ${MSR}/{MSE}$ 应接近于 $1$ 。

简单线性回归 $ANOVA$ 的一般形式：

方差来源	平方和	自由度	均方	F
回归	$SSR$	$1$	$MSR = \frac{SSR}{1}$	$\frac{MSR}{MSE}$
误差	$SSE$	$n-2$	$MSE = \frac{SSE}{n-2}$
总计	$SST$	$n-1$

1.4 应用估计的回归方程进行估计和预测

1.4.1 $y$ 的平均值的置信区间

置信区间：对于一个给定的 $x$ 值， $y$ 的平均值的区间估计。
$\hat{y}^* \pm t_{\alpha /2}s_{\hat{y}^*}$
其中， $1- \alpha$ 为置信系数， $t_{\alpha/2}$ 为自由度 $n-2$ 的 $t$ 分布上侧的面积为 $\alpha /2$ 时对应的 $t$ 值。估计值 $\hat{y}^*$ 的标准差的计算公式：
$s_{\hat{y}^*} = s\sqrt{\frac{1}{n}+\frac{(x^* - \bar{x})^2}{\sum (x_i - \bar{x})^2}}$
当 $x^*=\bar{x}$ 时，就能得到 $y$ 的平均值最佳或是最精确的估计量；当 $x^*$ 偏离 $\bar{x}$ 愈远，差 $x^* - \bar{x}$ 就变得愈大， $y$ 的平均值的置信区间就变得愈宽。

1.4.2 $y$ 的一个个别值的预测区间

预测区间：对于一个给定的 $x$ 值， $y$ 的一个个别值的区间估计。
$\hat{y}^* \pm t_{\alpha /2}s_{spred}$
其中， $1- \alpha$ 为置信系数， $t_{\alpha/2}$ 为自由度 $n-2$ 的 $t$ 分布上侧的面积为 $\alpha /2$ 时对应的 $t$ 值。估计值 $\hat{y}^*$ 的标准差的计算公式：
$s_{spred} = s\sqrt{1 +\frac{1}{n}+\frac{(x^* - \bar{x})^2}{\sum (x_i - \bar{x})^2}}$

1.5 残差分析

在 $1.2$ 中，我们对误差项 $\epsilon$ 做了 $4$ 项假定，残差分析是确定误差项 $\epsilon$ 是否成立的重要步骤。
残差图主要有以下 $4$ 种：

关于自变量 $x$ 的值的残差图。
关于应变量的预测值 $\hat{y}$ 的残差图。
标准化残差图。
正态概率图。

1.5.1 关于自变量 $x$ 的值的残差图

第一个坐标为 $x_i$ ，第二个坐标为对应的第 $i$ 个残差 $y_i - \hat{y}_i$ 的值。
如果模型满足残差的假定，则所有散点都应落在一条水平带中间。

1.5.2 关于 $\hat{y}$ 的残差图

第一个坐标为 $\hat{y}_i$ ，第二个坐标为对应的第 $i$ 个残差 $y_i - \hat{y}_i$ 的值。
如果模型满足残差的假定，则所有散点都应落在一条水平带中间。

关于$\hat{y}$ 的残差图

1.5.3 标准化残差图

第 $i$ 个残差的标准差
$s_{y_i - \hat{y}_i} = s\sqrt{1-h_i} \tag{1.53-1}$
其中， $s_{y_i - \hat{y}_i}$ 代表第 $i$ 个残差的标准差， $s$ 代表估计的标准误差。 $h_i$ 被称为第 $i$ 次观测的杠杆率：
$h_i = \frac{1}{n}+\frac{(x_i - \bar{x})^2}{\sum (x_i-\bar{x})^2} \tag{1.53-2}$
表示的是某一个自变量的观测值和所有观测值的平均值之间距离远近的度量。
第 $i$ 次观测的标准化误差
$\frac{y_i - \hat{y}_i}{s_{y_i - \hat{y}_i}} \tag{1.53-3}$

如果模型满足残差的假定，标准化残差分布也应该服从一个标准正态概率分布。大约 $95\%$ 的标准化残差应介于 $-2\sim +2$ 。

1.5.4 正态概率图

正态概率图 (Normal Probability Plot) 用于检查一组数据是否服从正态分布，如果该组数据服从正态分布，则正态概率图会是一条直线。
QQ-Plot (Quantile-Quantile Plot)用来判断样本是否近似服从某种分布，或验证两组数据是否来至同一分布。

正态分数
假设从一个平均值为 $0$ ，标准差为 $1$ 的标准正态概率分布中随机地抽取 $n$ 个数值，并将这一抽样过程反复进行，然后把每个样本中的 $n$ 个数值进行排序，则每个顺序上的一组值对应的期望值被称为正态分数，排序上的第 $i$ 个正态分数被称为 $i$ 阶顺序统计量。

用水平轴表示正态分数，用纵轴表示对应的标准化残差（即也按照从小到大进行排序，然后一一对应的值）所做的散点图。如果模型满足残差的假定，则这些散点应密集围绕在通过坐标轴原点的 $45°$ 直线附近。

正态概率图

1.5.5 异常值和有影响的观测值

异常值
可通过标准化残差图来看，如果标准化残差小于 $-2$ 或者大于 $+2$ ，则 $Minitab$ 会将该值标注为异常值（数据被单独打印，最后带 $R$ ）。
有影响的观测值
自变量是极端值的观测值被称为高杠杆率点，如果杠杆率 $h_i > min\{6/n, 0.99\}$ ，则 $Minitab$ 会将该值标注为具有高杠杆率的观测值（数据被单独打印，最后带 $X$ ）
有影响的观测值是由于大的残差和高杠杆率的交互作用而产生的。

2. 多元回归

包含两个或两个以上自变量的回归分析。

2.1 模型的假定

关于多元回归模型 $y = \beta_0 + \beta_1x_1 + \cdots + \beta_px_p + \epsilon$ 的误差项 $\epsilon$ 的假定

误差项 $\epsilon$ 是一个平均值或者期望值为零的随机变量，即 $E(\epsilon) = 0$ 。
这就意味着，对于一个给定的 $x_1, x_2, \cdots, x_p$ 的值， $y$ 的期望是 $E(y) = \beta_0 + \beta_1x_1 + \cdots + \beta_px_p$
对所有的 $x_1, x_2, \cdots, x_p$ 值， $\epsilon$ 的方差都是相同的，用 $\sigma^2$ 表示方差。
这就意味着， $y$ 关于回归线的方差等于 $\sigma^2$ 。
$\epsilon$ 的值是相互独立的。
这就意味着，对于自变量 $x_1, x_2, \cdots, x_p$ 的一组特定的值，它所对应的 $\epsilon$ 值与任何其他组 $x_1, x_2, \cdots, x_p$ 值所对应的 $\epsilon$ 值不相关。
误差项 $\epsilon$ 是一个服从正态分布的随机变量。
这就意味着，对所有的 $x_1, x_2, \cdots, x_p$ 值， $y$ 也是一个正态分布的随机变量。

2.2 显著性检验

$F$ 检验用于确定在应变量和所有自变量之间是否存在一个显著性的关系， $F$ 检验也称为总体的显著性检验。
如果 $F$ 检验已经表明了模型总体的显著性，那么 $t$ 检验用来确定每一个单个的自变量是否为一个显著性的自变量。对模型中每一个单独的自变量，都要单独的进行 $t$ 检验。

2.2.1 总体显著性的 $F$ 检验

建立原假设和备择假设
$H_0: \beta_1 = \beta_2 = \cdots = \beta_p = 0 \\ H_\alpha: 至少有一个参数不等于零$
检验统计量
$F = \frac{MSR}{MSE}$
拒绝法则
$p$ 值法：如果 $p$ 值 $\leqslant \alpha$ ，则拒绝 $H_0$
临界值法：如果 $F\geqslant F_{\alpha }$ ，则拒绝 $H_0$
其中， $F_{\alpha}$ 为分子自由度 $p$ （ $p$ 为自变量的个数），分母自由为 $n-p-1$ 时，使 $F$ 分布上侧的面积为 $\alpha$ 时对应的 $F$ 值， $MSR,MSE$ 的计算公式如下：
$MSR = \frac{SSR}{回归自由度} = \frac{SSR}{自变量的个数} = \frac{SSR}{p}$
$MSE = \frac{SSE}{误差自由度} = \frac{SSE}{n - p - 1}$

具有 $p$ 个自变量的多元回归模型的 $ANOVA$ 表：

方差来源	平方和	自由度	均方	F
回归	$SSR$	$p$	$MSR = \frac{SSR}{p}$	$\frac{MSR}{MSE}$
误差	$SSE$	$n-p -1$	$MSE = \frac{SSE}{n-p-1}$
总计	$SST$	$n-1$

2.2.2 单个参数显著性的 $t$ 检验

建立原假设和备择假设：对于任一个参数 $\beta_i$
$H_0: \beta_i = 0 \\ H_\alpha: \beta_i \neq 0$
检验统计量
$t = \frac{b_i}{s_{b_i}}$
拒绝法则
$p$ 值法：如果 $p$ 值 $\leqslant \alpha$ ，则拒绝 $H_0$
临界值法：如果 $t\leqslant -t_{\alpha / 2}$ 或者 $t\geqslant t_{\alpha / 2}$ ，则拒绝 $H_0$
其中， $t_{\alpha/2}$ 为自由度 $n-p - 1$ 的 $t$ 分布上侧的面积为 $\alpha /2$ 时对应的 $t$ 值； $s_{b_i}$ 是 $b_i$ 标准差的估计。

2.3 多重共线性

在多元回归分析中，我们把自变量之间的相关性称为多重共线性。
在对单个参数的显著性进行 $t$ 检验时，由于多重共线性带来的困难是：当多元回归方程总体显著性的 $F$ 检验表明有一个显著的关系时，我们可能得出单个参数没有一个是显著的不同于零的结论。只有当变量之间的相关性非常小时，才有可能回避这个问题。如果两个变量之间的样本相关系数的绝对值大于 $0.7$ ，多重共线性有可能成为一个潜在的问题。

2.4 分类变量的处理

如果一个分类变量有 $k$ 个水平，那么需要定义 $k-1$ 个虚拟变量，每一个虚拟变量或者取值为 $0$ ，或者取值为 $1$ 。

2.5 残差分析

残差图与简单线性回归一致。

2.5.1 学生化删除残差

假设从数据集中删除第 $i$ 次观测值，利用其余的 $n-1$ 次观测值建立一个新的估计的回归方程，设 $s_{(i)}$ 表示从数据集中删除了第 $i$ 次观测值后得到的估计的标准误差，如果我们计算第 $i$ 次观测的残差的标准差，用 $s_{(i)}$ 代替 $1.53-1$ 中的 $s$ ，那我们在计算第 $i$ 次观测的标准化残差时， $1.53-3$ 利用了 $s_{y_i - \hat{y}_i}$ 的修正值，这样得到的标准化残差称为学生化删除残差。如果第 $i$ 次观测值是一个异常值，那么 $s_{(i)}$ 将小于 $s$ 。所以，第 $i$ 次观测的学生化删除残差的绝对值将大于标准化残差的绝对值。所以，学生化删除残差可以检测出标准化残差不能检测出的异常值。

2.5.2 有影响的观测值

$Minitab$ 中判定准则是 $h_i > 3(p+1)/n$
有时候仅根据杠杆率来识别有影响的观测值，可能导致错误的结论，因此，引出 库克距离测度(Cook's distance measure)
$D_i = \frac{(y_i - \hat{y}_i)^2}{(p+1)s^2}\left [ \frac{h_i}{(1-h_i)^2} \right ]$
其中， $D_i$ 代表第 $i$ 次观测的库克距离测度， $y_i - \hat{y}_i$ 代表第 $i$ 次观测的残差， $h_i$ 代表第 $i$ 次观测的杠杆率， $p$ 代表自变量的个数， $s$ 代表估计的标准误差。
作为经验准则，如果 $D_i > 1$ ，则表明第 $i$ 次观测值是一个有影响的观测值。

3. Logistic 回归

3.1 回归方程

$E(y) = \frac{e^{\beta_0 + \beta_1x_1 + \cdots + \beta_px_p }}{1 + e^{\beta_0 + \beta_1x_1 + \cdots + \beta_px_p }} \tag{3.01-1}$
如果应变量 $y$ 的值被赋值为 $0$ 或者 $1$ ，那么在自变量 $x_1, x_2, \cdots, x_p$ 的一组特定值已知的条件下，式 $(3.01-1)$ 中 $E(y)$ 的值给出了 $y=1$ 的概率。所以式 $(3.01-1)$ 又可以写成
$E(y) = P(y=1|x_1, x_2, \cdots, x_p) \tag{3.01-2}$

3.2 估计的 logistic 回归方程

$\hat{y} = P(y=1|x_1, x_2, \cdots, x_p) 的估计 = \frac{e^{b_0 + b_1x_1 + \cdots + b_px_p }}{1 + e^{b_0 + b_1x_1 + \cdots + b_px_p }}\tag{3.01-3}$
式中， $\hat{y}$ 是在自变量 $x_1, x_2, \cdots, x_p$ 的一组特定值已知时，给出了 $y=1$ 的概率。

3.3 显著性检验

3.3.1 总体的显著性的 $G$ 检验

建立原假设和备择假设
$H_0: \beta_1 = \beta_2 = \cdots = \beta_p = 0 \\ H_\alpha: 至少有一个参数不等于零$
检验统计量为 $G$ 统计量。如果原假设成立，则 $G$ 统计量的抽样分布为服从自由度等于模型中自变量的个数的 $\chi^2$ 分布。

3.3.2 单个参数显著性的 $z$ 检验

如果 $G$ 检验表明模型的总体是显著的，则可以利用 $z$ 检验来确定每一个单个自变量对模型总体是否有显著的作用。
建立原假设和备择假设：对于任一个参数 $\beta_i$
$H_0: \beta_i = 0 \\ H_\alpha: \beta_i \neq 0$
如果原假设成立，则估计的系数 $b_i$ 除以它的标准差 $s_{b_i}$ 后，得到的结果 $z_i = b_i / s_{b_i}$ 为一服从标准正态分布的统计量。

3.4 解释 logistic 回归方程

有利于一个事件发生的机会比 (odds in favor of an event occurring)
事件将要发生的概率与该事件将不会发生的概率的比。在自变量的一组特定值已知时，有利于事件 $y=1$ 发生的机会比可以按照下式计算：
$机会比 = \frac{P(y=1|x_1, x_2, \cdots, x_p) }{P(y=0|x_1, x_2, \cdots, x_p) } = \frac{P(y=1|x_1, x_2, \cdots, x_p) }{1- P(y=1|x_1, x_2, \cdots, x_p) }$
机会比率 (odds ratio)
度量一组自变量中只有一个自变量增加了一个单位时，对机会比的影响。即当给定的一组自变量中的一个自变量增加了一个单位时， $y=1$ 的机会比 ( $odds_1$ ) 除以该组自变量的值都没有变化时， $y=1$ 的机会比 ( $odds_0$ )
$机会比率 = \frac{odds_1}{odds_0}$
机会比率和回归系数之间的关系
一个变量的机会比率和它所对应的回归系数之间存在一个唯一的关系：
$机会比率 = e^{\beta_i}$

当自变量变化一个单位，而所有其他的自变量都保持不变时，一个自变量的机会比率描述了该自变量机会比的变化。当一个自变量的变化大于 $1$ 个单位时（比如 $c$ 个单位），对应的估计的机会比率是
$机会比率 = e^{c \beta_i}$

一般来说，机会比率使我们能够比较两个不同事件的机会比，如果机会比率的值是 $1$ ，那么两个事件的机会比是相同的。如果自变量对事件发生的概率有一个正的影响，那么对应的机会比率将大于 $1$ 。

3.5 对数机会比（logit）变换

有利于 $y=1$ 的机会比的自然对数是自变量的线性函数
$ln(odds) = \beta_0 + \beta_1x_1 + \cdots + \beta_px_p$
这个线性函数称为对数机会比（logit），用符号 $g(x_1, x_2, \cdots, x_p)$ 表示对数机会比：
$g(x_1, x_2, \cdots, x_p) = \beta_0 + \beta_1x_1 + \cdots + \beta_px_p$

4. 建立模型

4.1 确定什么时候增加或者删除变量

考虑以下含有 $q(q<p)$ 个自变量的多元回归模型：
$y = \beta_0 + \beta_1x_1 + \cdots + \beta_qx_q + \epsilon$
如果增加自变量 $x_{q+1}, x_{q+2}, \cdots, x_p$ 到这个模型上，得到含有 $p$ 个自变量的多元回归模型
$y = \beta_0 + \beta_1x_1 + \cdots + \beta_qx_q + \beta_{q+1}x_{q+1} + \beta_{q+2}x_{q+2} + \cdots + \beta_px_p + \epsilon$
为了检验增加的自变量 $x_{q+1}, x_{q+2}, \cdots, x_p$ 是否在统计上是显著的，提出如下原假设和备择假设：
$H_0: \beta_{q+1} = \beta_{q+2} = \cdots = \beta_p = 0 \\ H_\alpha: 参数 \beta_{q+1}, \beta_{q+2} , \cdots , \beta_p 中至少有一个参数不等于零$
计算检验统计量
$F = \frac{\frac{SSE(x_1, x_2,\cdots, x_q) - SSE(x_1, x_2,\cdots, x_q, x_{q+1},\cdots x_p)}{p-q}}{\frac{SSE(x_1, x_2,\cdots, x_q, x_{q+1},\cdots x_p)}{n-p-1}}$
简化形式
$F = \frac{\frac{SSE(简化) - SSE(完全)}{增加的项数}}{MSE(完全)} = \frac{\frac{SSR(简化) - SSR(完全)}{增加的项数}}{MSE(完全)}$
拒绝法则
$p$ 值法：如果 $p$ 值 $\leqslant \alpha$ ，则拒绝 $H_0$
临界值法：如果 $F\geqslant F_{\alpha }$ ，则拒绝 $H_0$
其中， $F_{\alpha}$ 为分子自由度 $p-q$ ，分母自由为 $n-p-1$ 时，使 $F$ 分布上侧的面积为 $\alpha$ 时对应的 $F$ 值。

4.2 变量选择方法

4.2.1 逐步回归法

逐步回归方法的每一步，首先要考虑的是查看一下是否有哪个自变量能从当前的模型中被删除，如果没有一个变量能从模型中被删除，则查看是否有哪个不在当前模型中的自变量能增加到模型里来。判断的标准即是 $F$ 检验。停止条件为没有自变量能从模型中被删除且没有自变量能进入到模型里来。

4.2.2 前向选择法

前向选择方法从模型中没有自变量开始，使用与逐步回归方法为了确定一个变量是否应该进入模型同样的程序来增加变量，并且每次只能增加一个变量。需要注意的是，一个变量一旦加入到模型中，前向选择方法就不允许这个变量从模型中删除。停止条件为当不在模型中每一个自变量的 $p$ -值全都大于 $"Alpha\, to\, enter"$ （即显著性水平阈值）。

4.2.3 后向消元法

后向消元法从包含所有自变量的模型开始，使用与逐步回归方法为了确定一个变量是否应该从模型中删除同样的程序来删除变量，并且每次只能删除一个变量。需要注意的是，一个变量一旦从模型中删除，后向消元法就不允许这个变量重新再进入模型。停止条件为当模型中自变量的 $p$ -值没有一个大于 $"Alpha\, to\, remove"$ （即显著性水平阈值）。
注：前向选择法和后向消元法可能得出不同的模型。

4.2.4 最佳子集回归法

暂略

4.3 试验设计的多元回归方法

4.3.1 完全随机化实验

包含 $A,B,C,D$ 四种处理的一个完全随机化设计，可以考虑如下的多元回归方程：

$x_1$	$x_2$	$x_3$	处理
0	0	0	处理 A
1	0	0	处理 B
0	1	0	处理 C
0	0	1	处理 D

$E(y) = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_3$

4.3.2 析因实验

因素 $A$ 有 $2$ 水平，因素 $B$ 有 $3$ 水平的两因素设计，可以考虑如下的多元回归方程：
因素 $A$ ：如果水平 $1$ ，则 $x_1 = 0$ ；如果水平 $2$ ，则 $x_1 = 1$ ，因素 $B$ ：

$x_2$	$x_3$	水平
0	0	1
1	0	2
0	1	3

$E(y) = \beta_0 + \beta_1x_1 + \beta_2x_2 + \beta_3x_1x_2 + \beta_4x_1x_3$

4.4 自相关性和杜宾-瓦特森检验

自相关性
当模型误差项在连续时间点上相关时，在误差项中出现的相关性。
如果 $y$ 在 $t$ 时期的值依赖于 $y$ 在 $t-1$ 时期的值，则称数据中存在一阶自相关性；如果 $y$ 在 $t$ 时期的值依赖于 $y$ 在 $t-2$ 时期的值，则称数据中存在二阶自相关性，等等。

回归模型的假定之一是模型的误差项是独立的，当数据存在自相关性时，违背了这一假定。因此，检测出自相关性的存在并作出适当的修正十分重要。

杜宾-瓦特森检验 (Durbin-Watson test) 的检验统计量
$d = \frac{\sum_{i=2}^{n}(e_i-e_{i-1})^2}{\sum_{i=1}^{n}e_i^2}$
其中， $e_i = y_i - \hat{y}$ ，表示第 $i$ 个残差。

修正措施
如果显著的自相关性被识别出来，应考虑假设的回归模型是否遗漏了一个或几个重要的自变量，而这些自变量对应变量有显著的时序影响。如果没有这样的自变量被识别出来，则可以在模型中引入一个度量观测次数的自变量（例如，对于第一次观测，这个变量的值可以为 $1$ ，对于第二次观测，这个变量的值可以为 $2$ ，等等）。当这些尝试不起作用时，再考虑对应变量或者自变量进行适当的变换可能是有帮助的。

最后编辑于：2020.02.03 17:25:06

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,293评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,604评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,958评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,729评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,719评论 5赞 366
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,630评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,000评论 3赞 397
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,665评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,909评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,646评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,726评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,400评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,986评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,959评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,197评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 44,996评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,481评论 2赞 342