大师兄的应用回归分析学习笔记（六）：多元线性回归（三）

大师兄的应用回归分析学习笔记（五）：多元线性回归（二）
大师兄的应用回归分析学习笔记（七）：多元线性回归（四）

五、中心化和标准化

在多元线性回归分析中：

由于涉及多个自变量，自变量的单位往往不同，给结构分析带来一定困难；

由于多元回归涉及的数据量很大，可能因为舍入误差而使计算结果不理想

舍入误差有两个主要原因：

一是回归分析计算中数量级有很大差异

二是设计矩阵X的列向量近似线性相关

1. 中心化

将经验回归方程坐标原点移至样本中心，可得中心化经验回归方程： $\hat y' = \hat\beta_1 x'_1 + \hat\beta_2 x'_2 + ... + \hat\beta_p x'_p$

中心化经验回归方程的常数项为0，少了一个未知参数

坐标系的平移变换只改变直线的截距，不改变直线的斜率

2. 标准化回归系数

在中心化的基础上，可进一步给出变量的标准化和标准化回归系数。
再用多元线性回归方程描述某种经济现象时，由于自变量所用的单位大多不同，数据的大小差异也往往很大，不利于在统一标准上进行比较。
为了消除量纲不同和数量级差异所带来的影响，就需要将样本数据做标准化处理，然后用最小二乘法估计未知参数，求得标准化回归系数。
样本的标准化公式为：

$x^*_{ij} = \frac{x_{ij}-\overline x_j}{\sqrt{L_{jj}}},i=1,2,...,n;j=1,2,...,p$

$y^*_{ij} = \frac{y_{i}-y}{\sqrt{L_{yy}}},i=1,2,...,n$

式中： $L_{jj} = \sum^n_{i=1}(x_{ij} - \overline x_j)^2$ 是自变量 $x_j$ 的离差平方和。

用最小二乘法求出标准化的样本数据( $x^*_{i1},x^*_{i2},...,x^*_{ip};y*_i$ )的经验回归方程为： $\hat y^* = \hat\beta_1^* x_1^* + \hat\beta_2^* x_2^*+...+\hat\beta_p^* x_p^*$
标准化回归系数与普通最小二乘回归系数之间存在关系式： $\hat\beta_j^* = \frac{\sqrt{L_{jj}}}{\sqrt{L_{yy}}}\hat\beta_j,j=1,2,...,p$
标准化回归系数是比较自变量对y影响成都额的相对重要性的一种比较理想的方法，有了标准化回归系数后，变量的相对重要性就容易比较了。
但是对回归系数的解释仍需采取谨慎态度，因为当自变量相关时，会影响标准化回归系数的大小。

六、相关阵与偏相关系数

1. 样本相关阵

复相关系数R反映了一组自变量的相关性，是整体和共性指标。
简单相关系数反映的是两个变量间的相关性，是局部和个性指标。
由样本观测值 $x_{i1},x_{i2},...,x_{ip}(i=1,2,...,n)$ 分别计算 $x_i$ 与 $x_i$ 之间的简单相关系数 $x_{ij}$ ，得自变量样本相关阵： $r=\begin{bmatrix} 1&r _{12}& ...& r_{1p}\\ r_{21}&1&...&r_{2p}\\ \vdots&\vdots& &\vdots\\ r_{p1}&r_{p2}&...&1\\ \end{bmatrix}$
相关矩阵是对称矩阵
$X^* = (x^*_{ij})_{n \times p}$ 表示中心标准化的设计矩阵，则相关阵可表示为 $r = (X^*)'X^*$

2. 偏决定系数

偏决定系数是变量间的另一种相关性，在多元线性回归分析中，当其他变量固定后，给定的任两个变量之间的相关系数叫偏相关系数。
偏相关系数可以度量p+1个变量 $y,x_1,x_2,...,x_p$ 之中任意两个变量的线性相关程度，而这种相关程度是在固定其余p-1个变量的影响下的线性相关。

2.1 两个自变量的偏决定系数

记 $SSE(x_2)$ 是二元线性回归模型中只含有自变量 $x_2$ 时y的残差平方和， $SSE(x_1,x_2)$ 是模型中同时含有自变量 $x_1$ 和 $x_2$ 时y的残差平方和。
因此，模型中已含有 $x_2$ 时，再加入 $x_1$ 使y的剩余变差的相对减少量为： $r^2_{y1l2} = \frac{SSE(x_2) - SSE(x_1,x_2)}{SSE(x_2)}$

此时模型中已含有 $x_2$ 时，y与 $x_1$ 的偏决定系数。

同样，模型中已含有 $x_1$ 时，y与 $x_2$ 的偏决定系数为： $r^2_{y2l1} = \frac{SSE(x_1) - SSE(x_1,x_2)}{SSE(x_1)}$

2.2 一般情况

当模型中已含有 $x_2,...,x_p$ 时，y与 $x_1$ 的偏决定系数为： $r^2_{y_1;2,...,p} = \frac{SSE(x_2,...,x_p） - SSE(x_1,x_2,...,x_p）}{SSE(x_2,...,x_p)}$

3. 偏相关系数

偏决定系数的平方根称为偏相关系数，其符号与相应的回归系数的符号相同。
偏相关系数与回归系数显著性检验的t值是等价的。

从图中可以看到，两个偏相关系数(Patial)为 $r_{y1;2} = 0.802,r_{y2;1} = 0.739$

进一步计算偏决定系数 $r^2_{y1;2} = (0.802)^2 = 0.643, r^2_{y2;1} = (0.739)^2 = 0.546$

Zero-order 为 y与 $x_i$ 的简单相关系数，分别为 $r_{y1} = 0.807,r_{y2} = 0.746$

决定系数为： $r_{y1}^2=(0.807)^2 = 0.651,r^2_{0.746} = 0.557$

Part为部分相关系数，y关于 $x_2$ 的部分相关系数 = $\sqrt{\frac{\Delta SSR(x_2)}{SST}}$

以上数据说明：

用y与 $x_1$ 做一元线性回归时， $x_1$ 能消除y的变差SST的比例为： $r_{y1}^2= 0.651 = 65.1\%$

再引入 $x_2$ 时， $x_2$ 能消除剩余变差 $SSE(x_1)$ 的比列为： $r^2_{y2;1} = 0.546 = 54.6\%$

因而自变量能消除 $x_1和x_2$ 消除y变差的总比例为： $1 - (1-r^2_{y1})(1-r^2_{y2;1}) = 1 - (1 - 0.651)\times(1 -0.546) = 0.842 = 84.2\%$

而 $84.2\%$ 恰好是y对 $x_1和x_2$ 的二元线性回归的决定系数 $R^2$

偏相关系数反映的事变量间的相关性，因而不需要又处于特殊地位的变量y。
可以对任意p个变量 $x_1,x_2,...,x_p$ 定义他们之间的偏相关系数，记作： $r_{ij} = \frac{L_{ij}}{\sqrt{L_{ii}L_{jj}}}$ 表示两个变量 $x_1,x_j$ 之间的简单相关系数。
$r = (r_{ij})_{p\times p}为x_1,x_2,...,x_p$ 的相关阵，则在固定 $x_3,...,x_p$ 保持不变
$x_1与x_2$ 之间的偏相关系数为： $r_{12;3,...,p} = \frac{-\Delta_{12}}{\sqrt{ \Delta_{11} \Delta_{22}}}$

$\Delta_{ij}$ 表示相关阵 $(r_{ij})_{p\times p}$ 第i行第j列元素的代数余子式2

最后编辑于：2024.12.27 13:42:03

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 220,002评论 6赞 509
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 93,777评论 3赞 396
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 166,341评论 0赞 357
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 59,085评论 1赞 295
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 68,110评论 6赞 395
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,868评论 1赞 308
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,528评论 3赞 420
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,422评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,938评论 1赞 319
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 38,067评论 3赞 340
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,199评论 1赞 352
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,877评论 5赞 347
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,540评论 3赞 331
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,079评论 0赞 23
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,192评论 1赞 272
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,514评论 3赞 375
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,190评论 2赞 357

大师兄的应用回归分析学习笔记（六）：多元线性回归（三）

五、中心化和标准化

1. 中心化

2. 标准化回归系数

六、相关阵与偏相关系数

1. 样本相关阵

2. 偏决定系数

2.1 两个自变量的偏决定系数

2.2 一般情况

3. 偏相关系数

推荐阅读更多精彩内容