day6

正规方程(normal equation) 解回归问题

对于某些回归问题,用正规方程求解参数θ的最优值(误差函数的最小值)更好,比起用梯度下降法,需要多次迭代才可以获取最优解,用正规方程一步就可以获取最优解

特征.png
训练样本特征变量.png

m*(n+1)矩阵

向量y.png

m行

参数θ的最优值.png

使用了正规方程,是不需要进行特征归一化的
梯度下降的缺点是需要进行多次迭代,优点是在很多特征的情况下也能运行的相当好
正规方程不需要选择学习率a,不需要画出误差函数图形,更简单;缺点是需要进行计算,实现nnn来说计算量会很大,所以不适用于特征很多的情况(千位及千位以下,可以用正规方程,上万维的话,考虑使用梯度下降法)

不可逆性


矩阵相乘.png

不可逆时,可能原因是:
1.两个特征很相似
2.特征太多了(m行 <= n列)
这两种情况下,可以删除一些相似特征或者特征太多删除一些

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容