正规方程组与最小二乘解

设 是 实矩阵， 是 维向量。最小二乘问题是

对应的正规方程组（也叫法方程）是

其中 是 的转置。

1. 为什么正规方程组一定有解

我们知道，一般的线性方程组 不一定有解，这时候我们就去找它的最小二乘解，最小二乘解对应的就是下面这个正规方程组的解

验证这件事，就需要说明 换言之， 一定落在矩阵 的列空间中。

证明： 若 ，即 ，则

所以 。于是

这说明 与 正交，因此

所以存在 ，使得

也就是说，正规方程组一定有解。

不过要注意：有解不一定唯一。
如果 的列向量线性无关，即 列满秩，那么 可逆，解唯一：

如果 列不满秩，则 奇异，正规方程有无穷多解，但它们给出的 是同一个向量。

2. 正规方程组的解七号是最小二乘解

对于最小二乘解，我们要最小化残差平方和

将这个表达式展开得到：

对 求梯度：

令梯度为零：

得到

这就是正规方程组。

由于 是半正定矩阵， 是凸二次函数，所以满足梯度为零的点就是全局最小值点。

我们看下面的例子:

用数据 拟合一条直线

设计矩阵和向量为

计算：

正规方程组为

即

两式相减得

代回：

所以最小二乘直线为

预测值：

残差：

验证残差与列空间正交：

因此正规方程给出的 确实使残差平方和最小。

残差平方和为

总结：

• 正规方程组是 。
• 它一定有解，因为 属于 的列空间。
• 它的解使 最小，因为残差与 的列空间正交。
• 若 列满秩，解唯一；否则解不唯一，但 是唯一的最小二乘投影。