反向传播推导过程

举一个例子,来推到一些神经网络反向传播的流程。(bp算法)

正向传播的过程:


最终的损失为:


我们希望cost是越小越好。所以,反向传播就是干这个事情,通过链式求导的方法,让cost下降。

我们可以简单的把cost看作是一个与w13,w14,w23,w24有关的函数。也就是反向传播的目的是求

然后就是反向传播啦:
反向传播的的目的就是更新w35,w45,w23,w24,w13,w14。

如下所示:


计算过程如下:


更新过程:



参考教程:

  1. 如何直观地解释 back propagation 算法? - 忆臻的回答 - 知乎
    https://www.zhihu.com/question/27239198/answer/140093887
    http://www.cnblogs.com/charlotte77/p/5629865.html

  2. http://galaxy.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.html

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 本文相关代码可以从Backpropagation[https://github.com/chi2liu/Backp...
    六尺帐篷阅读 10,422评论 3 16
  • 姓名:张弛 公司:沈阳防锈包装材料有限责任公司 【六项精进打卡第89天】 【知~学习】 阅读《六项精进》大纲0遍 ...
    Leo_zhang阅读 1,423评论 0 0
  • 历经两个月的苦难波折,终于迎来新学期。硕同学紧张的赶着寒假作业,我也为准备搬到出租房而收拾着洗刷着,同时要照看好最...
    樱花_hong阅读 1,171评论 1 1
  • 又是同样的时间我慢慢从床上坐起发现自己出了一身冷汗,不记得是第几个夜晚总觉得记忆出现了漏洞...
    Quietcrazy阅读 2,905评论 0 0
  • 斜看秋风掩窗,叶舒畅。少卷寂寞长亭更悲凉。君不易,卿不老,古来将。午后轻叹风月也苍惶。
    暮衍情阅读 3,237评论 8 8

友情链接更多精彩内容