最小二乘法

概念

最小二乘就是最小化真实值和预测值差的平方。常用于曲线拟合。

数学形式

写成矩阵的形式：
J = \min\ ||Y-XW||^2
展开：
J = \min\ (Y-XW)^T(Y-XW)=\min\ Y^TY-Y^TXW-W^TX^TY+W^TX^TXW
求解最小化问题，极值点在导数为0处：
\frac{\partial J}{\partial W}=-Y^TX-(X^TY)^T+(X^TXW)^T+W^TX^TX=0
即：
W^TX^TX=Y^TX
则：
XX^TW=X^TY
W = (XX^T)^{-1}X^TY
这样就把参数求解变成了矩阵运算的形式

矩阵求导公式：

https://blog.csdn.net/u010976453/article/details/54381248

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容