线性回归;Softmax与分类模型、多层感知机学习心得

线性回归难点

1. 两种求解方式,其中解析解不一定有解,取决于X^T * X 是否可逆,如果不可逆是不存在的

2. 线性回归是平方差损失函数,这里需要注意,这个很容易过拟合,所以最好加正则项。

softmax核心点

我觉得就一条,是损失函数使用交叉熵而不用平方差损失函数,原因是在这个场景中平方差损失函数很容易陷入鞍点,不是一个平滑的凸函数。如果求导会发现很容易陷入非平滑区,换句话说就是梯度很低的位置,这样很难更新参数

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容