resnet,densenet的反向传播详解

resnet,densenet的反向传播详解

正常网络的反向传播

resnet_block.png

z=x \bigotimes W1, h=\phi(z), o = h \bigotimes W2, L=(o-y)^2,

初始化网络参数,给个初始值,经过前向传播,图中x,z,h,o的值都是已知的

\frac{\partial L}{\partial W2}= \frac{\partial L}{\partial o}· \frac{\partial o}{\partial W2}, o,h是已知的,\frac{\partial o}{\partial W2}=h, \frac{\partial L}{\partial o}=2(o-y),代入公式得\frac{\partial L}{W2}=2h(o-y)

\frac {\partial L}{\partial W1}=\frac{\partial L}{\partial o} \frac{\partial o}{\partial h} \frac{\partial h}{\partial z} \frac{\partial z}{\partial x}=\frac {\partial L}{\partial o} * W2 \bigotimes \frac{\partial \phi(z)}{\partial z} x^T=2(o-y) * W2 \bigotimes \frac{\partial \phi(z)}{\partial z} x^T

resnet的反向传播

一个正常的两层网络


resnet_block.png

对于一个正常的block,\frac{\partial L}{\partial l_1}=\frac{\partial L}{\partial l_2} \frac{\partial l_2}{\partial l_1}=\frac{\partial L}{\partial l_2} \frac{\partial l_2}{\partial o}W

一个两层的resent block


resnet_block1.png

\frac{\partial L}{\partial l_1}=\frac{\partial L}{\partial l_2}\frac{\partial l_2}{\partial o}\frac{\partial o}{\partial l_1}=\frac{\partial L}{\partial l_2}\frac{\partial l_2}{\partial o} \frac{\partial(o_1+l_1)}{\partial l_1}=\frac{\partial L}{\partial l_2} \frac{\partial l_2}{\partial o}(W+1)

和没有残差的两层block相对比,在W的位置多出了1,即梯度不衰减的传递回去了,避免梯度消失

densenet的反向传播

两层的densenet结构如下


densenet_block.png

从L反向传播到l_1梯度:

\frac{\partial L}{\partial l_1}=\frac{\partial L}{\partial l_2}\frac{\partial l_2}{\partial o}\frac{\partial o}{\partial l_1}=\frac{\partial L}{\partial l_2}\frac{\partial l_2}{\partial o} \frac{\partial(o_1 cat\ l_1)}{\partial l_1}=\frac{\partial L}{\partial l_2} \frac{\partial l_2}{\partial o}(W cat\ 1)

cat为运算算子,cat=concate,将两个张量按照维度拼接起来,W cat\ 1是在W上按照l_1的shape的1全部concate到W上

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 一只老鼠在你拥我挤的车流中逃窜得肝、脑涂地,殷红的血随着一只只碾压而过的轮胎慢慢地变淡。今天的风起得有点大,相信老...
    落桑Chen阅读 1,651评论 5 4
  • 虽然是周末,却因为苹果同学要跟老师去济南参加朗诵比赛而早起。送完苹果同学,本想去公园跑跑步,可身体却莫名的慵...
    载驰阅读 1,352评论 0 0
  • 吃一堑长一智, 只有经历过,才会深刻理解。
    子子月阅读 2,695评论 0 0
  • 人生真是变化无常,你以为的好并没有继续好,你以为的坏也并没有继续坏。 了解和学习思维导图都是在今年六月份,当时正好...
    小七123456七阅读 2,515评论 0 3