resnet的提出是为了解决深层网络优化的问题，如果深层网络的后面那些层是恒等映射，那么模型就退化为一个浅层网络。残差结构的输出表示为F(x) + x，相比于用多个堆叠的非线性层直接去学习恒等映射F(x) = x，残差结构直接学习F(x) = 0使得训练更容易些。
在网络层的深度过大之后反向传播对网络的权重的影响下降得非常厉害。
图片.png
为了解决梯度消失：
图片.png
图片.png
改进版的结构：
256维压缩到64维然后3*3卷积后恢复到256维
图片.png
残差结构
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
相关阅读更多精彩内容
- 声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！ 翻译论文汇总：https://github.com...
- 题目：图像识别领域的深度残差学习 文章地址：《Deep Residual Learning for Image R...
- cs231n学习笔记-CNN-目标检测、定位、分割 cite from: http://blog.csdn.net...
