其实就是在寻找解析解：
最后变为矩阵问题（求θ最优解）：
优缺点：
| 梯度下降法 | 正规方程法 |
|---|---|
| 需要选择α | 不需要需要选择α |
| 需要很多迭代 | 不需要迭代 |
| 当n很大的时候，依然工作良好 | 需要计算 |
当
不可逆时，有两种情况：
解决方法：
针对1：因为线性相关的向量（有一个是多余的），只需删除一个就好；
针对2：因为太多特征导致，所以需要删除一些特征，或者使用正则化的方法（regularization）
正规方程（normal equation）
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
推荐阅读更多精彩内容
- 数学是计算机技术的基础，线性代数是机器学习和深度学习的基础，了解数据知识最好的方法我觉得是理解概念，数学不只是上学...
- 机器学习是做NLP和计算机视觉这类应用算法的基础，虽然现在深度学习模型大行其道，但是懂一些传统算法的原理和它们之间...
