大师兄的应用回归分析学习笔记（四）：多元线性回归（一）

三、参数估计量的性质

1. 性质1：是随机向量y的一个线性变换

• 在多元线性回归中，无论应用普通最小二乘估计还是最大似然估计，得到回归系数向量的估计量为：。
• 根据回归模型假设，X是固定的设计矩阵，因此，是y的一个线性变换。

2. 性质2：是的无偏估计

• 
• 这一性质与一元线性回归和无偏的性质相同。

3. 性质3：

• 
• 的方差阵也记作，也称作的协方差阵。
• 根据可以分析出各分量的波动以及各分量之间的相关程度。
• 由此特性可看出，回归系数向量的稳定状况不仅与随机误差项的方差有关，还与设计矩阵X有关。
• 要使估计量的方差小，采集样本数据时就不能太集中。

4. 高斯-马儿科夫(G-M)定理

• 预测函数：是的线性函数，波动越小越好。
• 设c为任一p+1维常量向量，希望回归系数向量的估计值具有如下性质：

• 的无偏估计
• 的方差要小

• 高斯-马尔科夫定理：在假定时，

• 的任一线性函数的最小方差线性无偏估计（BLUE)為
• 其中，C是任一p+1维常数向量，是的最小二乘估计

• 此定理说明了用普通最小二乘估计得到的是理想的估计量。
• 需要注意以下四点：

5.

• 说明与不相关。

6. 当~时，则

• ~
• ~

四、回归方程的显著性检验

• 在实际问题中，实现并不能断定随机变量与变量之间确有线性关系，在进行回归参数的估计前，通常用多元线性回归方程去拟合随机变量y与变量之间的关系，只是根据一些定性分析所做的一种假设。
• 因此在求出线性回归方程后，还需要对回归方程进行显著性校验。
• 多元线性回归的显著性校验与一元线性回归方程的显著性校验有相同之处，也有不同之处。

1. F检验

• 对多元线性回归方程的显著性检验就是要看自变量从整体上对随机变量y是否有明显的影响。
• 为此提出原假设

• 如果被介绍，则表示随机变量与自变量之间的关系由线性回归模型表示不合适。

• 类似于一元线性回归检验，为了建立对进行检验的F统计量，利用离差平方和的分解式
• 构建的F检验统计量：
• 在正态假设下，当原假设成立时，F服从自由度为(p,n-p-1)的F分布。
• 可以利用F统计量对回归平方和的总体显著性进行检验。
• 对于给定的数据，计算出SSR和SSE，得到F值，再由给定的显著水平查F分布表，的临界值
• 方差分析表：

方差来源	自由度	平方和	均方	F值	P值
回归 残差 综合	p n-p-1 n-1	SSR SSE SST	SSR/p SSE/(n-p-1)		P(F>F值)=P值

• 当F大于临界值时，拒绝原假设，认为随机变量与自变量有显著线性关系。
• 也可以根据P值做检验，当P值<α时，拒绝原假设。

2. t检验

• 回归方程并不意味每个自变量对y的影响都显著，所以需要对每个自变量进行显著性检验。
• 如果某个自变量对y不显著，在回归模型中，它的系数就取值为0。
• 因此，检验变量是否显著，等价于检验假设，如果拒绝原假设，则显著。
• 已知~，记作
• 有,~
• 据此可以构造t统计量：
• 其中是回归标准差：
• 由于某些自变量不显著，因而在多元回归中并不是包含在回归方程中的自变量越多越好。
• 当有多个自变量y无显著影响时，由于自变量之间的交互作用，不能一次剔除掉所有不显著的变量，原则上每次只剔除一个|t|值最小或P值最大的变量，然后再对求得的新的回归方程进行检验，知道保留的变量都对y有显著影响为止。
• 在一元线性回归中，回归系数显著性的t检验与回归方程显著性的F检验是等价的，但是在多元线性回归中，这两种检验不等价。

3. 回归系数的置信区间

• 当有了参数向量的估计量时，与的接近程度如何，就需要构造的一个以为中心的区间，该区间以一定的概率包含。
• 已知~，可得的置信区间为：

4. 拟合优度

• 拟合优度用于检验回归方程对样本观测值的拟合度。
• 与一元线性回归中，样本决定系数为：
• 样本决定系数的取值再[0,1]区间内，越接近1，表明回归拟合的效果越好。
• 与F检验相比，可以更清楚直观地反映回归拟合的效果，但并不能作为严格的显著性检验。
• 称为y关于的样本复相关系数。
• 在两个变量的简单相关系数中，相关系数有正负之分，而复相关系数表示的事因变量y与全体自变量之间的线性关系，它的符号不能由某一个自变量的回归系数的符号来确定，因而都取正号。
• 复相关系数R用来表示回归方程对原有数据的拟合程度，它衡量作为一个整体的与y的线性关系。
• 到底多大，才能通过拟合优度检验，需要根据具体情况来定：

• 当n较大时，即使在0.7左右，也给回归模型肯定态度。
• 当n与自变量个数接近时，易接近1.

• 拟合优度并不是检验模型优劣的唯一标准，需慎重考虑。