2018-02-22

最小二乘法

我们从矩阵的角度来理解：
首先我们给出一个矩阵中的定义：

$R(A)=\{Ax|x∈R^n\},A∈R^{n×n}$

有了上面的定义之后，我们就可以写出最小二乘问题的矩阵形式：
$∃b∉R(A),b∈R^n,\min_{x∈R^n}\parallel Ax−b\parallel _2$

用bi格高一点的说法来说，就是求在欧几里得空间中以2-范数作为距离，使得向量Ax与b之间距离最小的x。
我们的目标是求：
$min_{x∈R^n}\parallel Ax−\parallel_2$

当然我们知道，使得距离最小的向量x与使得距离平方最小的向量x是相同的，于是我们可以将所求的目标改写为：
$min_{x∈R^n}{\parallel Ax−b\parallel_2}^2$

结合一些矩阵、行列式的知识，我们知道：
${\parallel Ax−b\parallel_2}^2=(Ax−b)^T∗(Ax−b)$
根据我们大一学过的高数知识，我们知道，求最极值问题直接对应的就是导数为零，因此我们试图将所给出的原式的矩阵形式求导：

不过首先我们需要补充矩阵微积分(matrix calculus)的一些知识
(PS:是矩阵微积分吧…我没有翻译错吧….)

$\frac {\partial x^Ta}{\partial x}=\frac {\partial a^Tx}{\partial x}=a$
$\frac {\partial x^TAx}{\partial x}=Ax+A^Tx$

如果矩阵A是对称的(symmetric matrix):
$Ax+A^Tx=2Ax$
接下来，我们对原式化简并求其对x的导数：

${∥Ax−b∥_2}^2=x^TA^TAx−b^TAx−x^TA^Tb+b^Tb$

求导得到：
$\frac {\partial{\parallel Ax−b\parallel}^2}{\partial x}=2A^TAx−2A^Tb=0$

于是我们就得到了，最小二乘法解的矩阵形式：
$x=(A^TA)^{−1}A^Tb$
当然了，这里是最简答的线性最小二乘法，还有更为复杂的非线性以及矩阵A不满秩的情况(hdq说他老师能默写出这个过程…)，等以后有时间了，我会再补充上去的。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

2018-02-22