梯度下降算法

在梯度下降算法里,最重要的公式是:


视频里直接给出了下面的解,求导数的过程没有详细说明,我自己参照课本,写出了求导的详细过程。


导数的求解直接按照定义 f(x)' = lim (y1-y0)/(x1-x0) 即可,不需要记公式。

实际在变线代码的时候,步长a的选择也很关键,当发现不收敛时需要减小步长。

红色是参照课程的实现,蓝色是numpy的结果,红色是收敛到步长1/10的结果。

收敛到1/100,可以看到两者已经很接近了。


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容