深度学习中Dropout原理解析

Dropout可以作为训练深度神经网络的一种trick供选择。在每个训练批次中,通过忽略一半的特征检测器(让一半的隐层节点值为0),可以明显地减少过拟合现象。这种方式可以减少特征检测器(隐层节点)间的相互作用,检测器相互作用是指某些检测器依赖其他检测器才能发挥作用。Dropout说的简单一点就是:我们在前向传播的时候,让某个神经元的激活值以一定的概率p停止工作,这样可以使模型泛化性更强,因为它不会太依赖某些局部的特征。


————————————————

版权声明:本文为CSDN博主「Microstrong0305」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/program_developer/article/details/80737724

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 目录: Dropout简介 1.1 Dropout出现的原因 1.2 什么是Dropout 2. Dropout工...
    WallE瓦力狗阅读 1,215评论 0 3
  • feisky云计算、虚拟化与Linux技术笔记posts - 1014, comments - 298, trac...
    不排版阅读 3,948评论 0 5
  • 深度学习中训练参数的调节技巧 在这篇文章中: 2、权重 3、层数 4、过拟合 5、Loss设计与观察 二、caff...
    裁尘的人儿阅读 3,850评论 0 0
  • 早上醒来已是中午。外面走廊里一点动静都没有,仿佛这里只有林素儿这户租户。 啊迪凌晨两点回了几条信息,说他在和朋友喝...
    空蛹满梦阅读 306评论 0 1
  • 今天,刚刚,打电话过去问,有了情况,说是在一起吃饭,已讲了在我工作上提升一步。 但我似乎又有点半信半疑,因为那人说...
    安福阅读 271评论 0 1