一、遗漏变量偏差

遗漏变量偏差是指OLS估计量中存在的偏差，它是在回归变量 $X$ 与遗漏变量相关时产生的。

遗漏变量偏差意味着第一个最小二乘假设 $\mathbb{E}(u_i|X_i)=0$ 不成立。

其理由如下：由前知一元线性回归模型中的误差项 $u_i$ 表示除了 $X_i$ 之外所有决定 $Y_i$ 的因素。若其中某个因素与 $X_i$ 相关，则意味着误差项 $u_i$ 与 $X_i$ 相关。

令 $X_i$ 和 $u_i$ 的相关系数为 $corr(X_i,u_i)=\rho_{Xu}$ ，第一个假设不成立而第二个和第三个假设成立，则OLS估计量具有如下极限： $\hat{\beta}_1\rightarrow\beta_1+\rho_{Xu}\frac{\sigma_u}{\sigma_X}$

（1）无论样本容量是大还是小，遗漏变量偏差问题都存在。

（2）这一偏差在实践中是大还是小，取决于回归变量和误差项之间的相关系数 $\rho_{Xu}$ ，即 $|\rho_{Xu}|$ 越大则偏差越大。

（3）这一偏差的方向取决于 $X$ 和 $u$ 是正相关还是负相关。

可通过数据分组处理遗漏变量偏差。

二、多元回归模型

多元回归模型（multiple regression model）

现假定只有两个自变量 $X_{1i}$ 和 $X_{2i}$

总体回归函数 $\mathbb{E}(Y_i|X_{1i}=x_1,X_{2i}=x_2)=\beta_0+\beta_1x_1+\beta_2x_2$

截距 $\beta_0$ ， $X_{1i}$ 的斜率系数 $\beta_1$ ， $X_{2i}$ 的斜率系数 $\beta_2$ ，有时也称多元回归模型的一个或多个自变量为控制变量

系数 $\beta_1$ 的解释不同于模型中只有 $X_{1i}$ 一个回归变量时的情形：即 $\beta_1$ 是在保持 $X_2$ 不变或控制 $X_2$ 时， $X_1$ 变化一个单位对 $Y$ 的效应。

固定 $X_2$ 不变，由于 $X_1$ 变化了 $\Delta X_1$ ，于是 $Y$ 也发生了一些变化，假定为 $\Delta Y$ ，则 $Y+\Delta Y=\beta_0+\beta_1(X_1+\Delta X_1)+\beta_2X_2$

得 $\beta_1=\frac{\Delta Y}{\Delta X_1}$ ， $X_2$ 保持不变，即 $X_1$ 对 $Y$ 的偏效应（partial effect）

加入误差项，有 $Y_i=\beta_0+\beta_1X_{1i}+\beta_2X_{2i}+u_i,i=1,2,...,n$ ，即总体多元回归模型（population multiple regression model）

记常数回归变量 $X_{0i}$ （constant regressor）， $\beta_0$ 可以看作是 $X_{0i}$ 的系数，亦即所有 $X$ 都等于0时 $Y$ 的条件期望值，则 $Y_i=\beta_0X_{0i}+\beta_1X_{1i}+\beta_2X_{2i}+u_i,i=1,2,...,n$

三、多元回归的OLS估计量

一般地，多元回归模型为 $Y_i=\beta_0+\beta_1X_{1i}+...+\beta_kX_{ki}+u_i,i=1,2,...,n$

最小化预测误差平方和 $\sum_{i=1}^n(Y_i-b_0-b_1X_{1i}-...-b_kX_{ki})^2$

$\beta_0,\beta_1,...,\beta_k$ 普通最小二乘估计量分别为 $\hat{\beta}_0,\hat{\beta}_1,...,\hat{\beta}_k$

给定 $X_{1i},X_{2i},...,X_{ki}$ 时， $Y_i$ 的预测值为 $\hat{Y}_i=\hat{\beta}_0+\hat{\beta}_1X_{1i}+...+\hat{\beta}_kX_{ki}$

第 $i$ 个观测的残差为 $\hat{u}_i=Y_i-\hat{Y}_i$

四、多元回归的拟合优度

回归标准误差 $SER=s_{\hat{u}}$ ，其中 $s_{\hat{u}}^2=\frac{1}{n-k-1}\sum_{i=1}^n\hat{u}_i^2=\frac{SSR}{n-k-1}$

回归 $R^2=\frac{ESS}{TSS}=1-\frac{SSR}{TSS}$

调整回归 $R^2=1-\frac{n-1}{n-k-1}\frac{SSR}{TSS}=1-\frac{s_{\hat{u}}^2}{s_Y^2}$

五、多元回归的最小二乘假设

多元回归有四个最小二乘假设

假设1：给定 $X_{1i},X_{2i},...,X_{ki}$ 时 $u_i$ 的条件分布均值为零

假设2： $(X_{1i},X_{2i},...,X_{ki},Y_i),i=1,2,...,n\quad i.i.d.$

假设3：不太可能出现大异常值

假设4：不存在完全多重共线性

六、多元回归中OLS估计量的分布

在多元回归的最小二乘假设中，多元线性回归中的OLS估计量 $\hat{\beta}_0,\hat{\beta}_1,...,\hat{\beta}_k$ 是 $\beta_0,\beta_1,...,\beta_k$ 的无偏一致估计量；且在大样本下， $\hat{\beta}_0,\hat{\beta}_1,...,\hat{\beta}_k$ 的联合分布近似于多维正态分布，且其中每个 $\hat{\beta}_j$ 服从 $\mathcal{N}(\beta_j,\sigma_{\hat{\beta}_j}^2),j=0,1,...,k$ 。

七、多重共线性

当一个回归变量是其他回归变量的完全线性组合时，就产生了完全多重共线性（perfect multicollinearity）；当一个回归变量和其他回归变量高度相关但不完全相关时，就产生了不完全多重共线性（imperfect multicollinearity）。

不同于完全多重共线性，不完全多重共线性既不会妨碍回归的估计，也不意味着回归变量选择中存在逻辑问题，但它意味着无法得到其中一个或多个回归系数的精确估计。

第6章多元线性回归

第6章多元线性回归

一、遗漏变量偏差

二、多元回归模型

三、多元回归的OLS估计量

四、多元回归的拟合优度

五、多元回归的最小二乘假设

六、多元回归中OLS估计量的分布

七、多重共线性

第6章 多元线性回归

一、遗漏变量偏差

二、多元回归模型

三、多元回归的OLS估计量

四、多元回归的拟合优度

五、多元回归的最小二乘假设

六、多元回归中OLS估计量的分布

七、多重共线性

第6章多元线性回归