最小二乘：
image.png
五把尺子测出来的尺寸各不相同，真实值最可能是多少？
image.png
很简单，直接求平均值就好了。为什么呢？？？
- 用调和平均数行不行？
- 用中位数行不行？
- 用几何平均数行不行？
法国数学家阿德里安-馬里·勒讓德提出让总的误差的平方（y-yi）^2之和最小的就是真值，这是基于如果误差是随机的，应该围绕真值上下波动。（y为疑似值）
image.png
在线性非线性拟合中也有应用：
image.png
但是还是没有被数学上证明，于是高斯大佬出现了：
理论上下述误差最终会形成一个概率分布，只是现在不知道误差的概率分布是什么
image.png
那我们再假设一个联合概率密度函数，这样方便把所有的测量数据利用起来。
image.png
L(x)符合以下的分布，我们需要知道他的最大值
image.png
对该L(x)函数求导求极值可得：
image.png
image.png
岭回归：
实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性(有偏估计)，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。
噪音会引起最后计算结果误差很大，这种矩阵称为“病态矩阵”。有些时候不正确的计算方法也会使一个正常的矩阵在运算中表现出病态。对于高斯消去法来说，如果主元（即对角线上的元素）上的元素很小，在计算时就会表现出病态的特征。
