神经网络和深度学习-2.2梯度下降法

回顾成本函数J和预测的y hat

image.png

注意这里的J被定义为1/m的损失函数之和

目前的任务是找到w和b最小化J（w,b）

image.png

使用一个一纬的w可以比较容易的画出上图
主要分为2个部分，如果代价函数关于w的导数是正的那么下一次更新就往左边移动，相反的如果导数是负的，那么就要往右边移动，更新的公式如下


image.png

很显然更新公式要找到这个凸函数的全局最优解
利用梯度下降法的关键点在于求偏导数

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容