【数理知识】最小二乘法，一般线性情况，矩阵化表示过程，最佳参数的求解公式过程

序号	内容
1	【数理知识】自由度 degree of freedom 及自由度的计算方法
2	【数理知识】刚体 rigid body 及刚体的运动
3	【数理知识】刚体基本运动，平动，转动
4	【数理知识】向量数乘，内积，外积，matlab代码实现
5	【数理知识】协方差，随机变量的的协方差，随机变量分别是单个数字和向量时的协方差
6	【数理知识】旋转矩阵的推导过程，基于向量的旋转来实现，同时解决欧式变换的非线性局限

友情提醒：请先服用文章【数理知识】最小二乘法，从线性回归出发，数值举例并用最小二乘法求解回归模型，再来服用本文。

@[toc]

之前的文章【数理知识】最小二乘法，从线性回归出发，数值举例并用最小二乘法求解回归模型中，从回归分析的角度出发，分析了线性回归的模型，举了具体的数值例子，并使用最小二乘法求解了模型的最佳参数。

在之前的回归分析中，举例时使用的是：

简单线性回归模型（单解释变量，单响应变量）
多元线性回归模型（多解释变量，单响应变量）

但是都是单响应变量，同时也不方便进行矩阵化描述。

在实际的应用中，更多使用的是多解释变量多响应变量的回归模型，同时也会使用矩阵化操作，这样既能节省计算机的资源，还能加速计算的效率。

因此本文将从多解释变量多响应变量出发，重点介绍如何矩阵化，以及矩阵化后的求导运算和操作。

1. 多解释变量，多响应变量

在上述（单解释变量，单响应变量）和的基础上，推广到更一般的线性情况。

这种多解释变量多响应变量的回归模型，可以用公式表征为

$\begin{aligned} y_1 &= \beta_{0} + \beta_{1} x_{11} + \beta_{2} x_{12} + \cdots + \beta_{p} x_{1p} \\ y_2 &= \beta_{0} + \beta_{1} x_{21} + \beta_{2} x_{22} + \cdots + \beta_{p} x_{3p} \\ y_3 &= \beta_{0} + \beta_{1} x_{31} + \beta_{2} x_{32} + \cdots + \beta_{p} x_{3p} \\ \vdots \\ y_m &= \beta_{0} + \beta_{1} x_{m1} + \beta_{2} x_{m2} + \cdots + \beta_{p} x_{mp} \end{aligned}$

可以看到这种回归模型共有
$m$ 个响应变量 $y_1, \cdots, y_m$ ，
$m * p$ 个解释变量 $x_{11}, \cdots, x_{mp}$ ，
$1$ 个参数 $\beta_{0}$ ，
$p$ 个参数 $\beta_{1}, \cdots, \beta_{p}$ 。

接下来进行矩阵化，令

$Y = \left[\begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{matrix}\right]_{m \times 1}, \quad X = \left[\begin{matrix} x_{11} & x_{12} & \cdots & x_{1p} \\ x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \ddots & \vdots \\ x_{m1} & x_{m2} & \cdots & x_{mp} \\ \end{matrix}\right]_{m \times p}, \quad \beta = \left[\begin{matrix} \beta_{1} \\ \beta_{2} \\ \vdots \\ \beta_{p} \end{matrix}\right]_{p \times 1}$

$\begin{aligned} Y = X \beta + \beta_0 \end{aligned}$

这种形式虽然看着简单清晰，但是多一项 $\beta_0$ ，我们换种形式将 $\beta_0$ 融进 $\beta$ 中去。令

$Y = \left[\begin{matrix} y_1 \\ y_2 \\ \vdots \\ y_m \end{matrix}\right]_{m \times 1}, \quad X = \left[\begin{matrix} 1 & x_{11} & x_{12} & \cdots & x_{1p} \\ 1 & x_{21} & x_{22} & \cdots & x_{2p} \\ \vdots & \vdots & \vdots & \ddots & \vdots \\ 1 & x_{m1} & x_{m2} & \cdots & x_{mp} \\ \end{matrix}\right]_{m \times (p+1)}, \quad \beta = \left[\begin{matrix} \beta_{0} \\ \beta_{1} \\ \beta_{2} \\ \vdots \\ \beta_{p} \end{matrix}\right]_{(p+1) \times 1}$

然后就变成了

$\begin{aligned} Y = X \beta \end{aligned}$

2. 矩阵运算求偏导

接下来的重点就是找寻一个最好的 $\theta$ 使得 $X\beta - Y$ 最小，即

$\min_{\beta} \| X \beta - Y \|_2^2$

其中 $X, Y$ 是已知的，未知的是 $\beta$ 。

使用最小二乘法求解最佳参数 $\beta$ 时，我们经常看到一个结论公式，即最佳的 $\beta$ 为

$\beta = (X^\text{T} X)^{-1} X^\text{T} Y$

但总是不知道其求解过程。因此接下来将讨论如何得到的此结论。

令 $J(\beta) = \| X \beta - Y \|_2^2$ ，这是残差平方和的另一种表示方式。我们可以通过展开这个方程来找到其对应的矩阵形式为

$J(\beta) = (X \beta - Y)^\text{T} (X \beta - Y)$

接下来计算 $J(\beta)$ 对 $\beta$ 的偏导数，并令其等于零而求得 $\beta$ 的值。展开上述方程有

$\begin{aligned} J(\beta) &= (X \beta - Y)^\text{T} (X \beta - Y) \\ &= (\beta^\text{T} X^\text{T} - Y^\text{T}) (X \beta - Y) \\ &= \beta^\text{T} X^\text{T} X \beta - \beta^\text{T} X^\text{T} Y - Y^\text{T} X \beta + Y^\text{T} Y \end{aligned}$

求偏导有

$\begin{aligned} \frac{\partial J(\beta)}{\partial \beta} &= \frac{\partial}{\partial \beta} (\beta^\text{T} X^\text{T} X \beta - \beta^\text{T} X^\text{T} Y - Y^\text{T} X \beta + Y^\text{T} Y) \end{aligned}$

这个式子想要求出来必须借助矩阵微积分的规则：对于未知量 $X$ 和常数矩阵 $A$ ，有

$\frac{\text{d}}{\text{d}X}(A X) = A^\text{T}$
$\frac{\text{d}}{\text{d}X}(X^\text{T} A) = A$
$\frac{\text{d}}{\text{d}X}(X^\text{T} A X) = (A+A^\text{T}) X$

根据上述规则分别有

$\frac{\partial}{\partial \beta} (\beta^\text{T} X^\text{T} X \beta) = ((X^\text{T} X) + (X^\text{T} X)^\text{T})\beta = 2 X^\text{T} X \beta$
$\frac{\partial}{\partial \beta} (- \beta^\text{T} X^\text{T} Y) = -X^\text{T} Y$
$\frac{\partial}{\partial \beta} (- Y^\text{T} X \beta) = (-Y^\text{T} X)^\text{T} = -X^\text{T} Y$

故偏导为

$\frac{\partial J(\beta)}{\partial \beta} = 2 X^\text{T} X \beta - 2 X^\text{T} Y$

令其为零有

$\begin{aligned} 2 X^\text{T} X \beta - 2 X^\text{T} Y &= 0 \\ X^\text{T} X \beta - X^\text{T} Y &= 0 \\ X^\text{T} X \beta &= X^\text{T} Y \\ \beta &= (X^\text{T} X)^{-1} X^\text{T} Y \end{aligned}$

至此，也就得到了最小二乘法的最佳参数的求解公式。

Ref

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,544评论 6赞 501
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,430评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,764评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,193评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,216评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,182评论 1赞 299
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,063评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,917评论 0赞 274
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,329评论 1赞 310
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,543评论 2赞 332
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,722评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,425评论 5赞 343
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,019评论 3赞 326
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,671评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,825评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,729评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,614评论 2赞 353

【数理知识】最小二乘法，一般线性情况，矩阵化表示过程，最佳参数的求解公式过程

1. 多解释变量，多响应变量

2. 矩阵运算求偏导

Ref

推荐阅读更多精彩内容