nn.Dropout ---- input 可以是任何形状和尺寸,一般是用在全连接线性映射之后(紧跟着)。
nn.Dropout2d ---- input 必须是(N,C,H,W) 这样的多通道2维数据集合。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。
nn.Dropout3d---- input 必须是 (N,C,D,H,W) 这样的多通道的3维数据集。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。
nn.AlphaDropout---input 可以是任何尺寸,输出的尺寸大小和input一致, 目的是为了保证输出的结果是零均值和单位方差。
nn.FeatureAlphaDropout ---input必须是(N,C,D,H,W) 或者是 (C,D,H,W), 输出尺寸大小和输入一致。 保证输出的结果是零均值和单位方差。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。
Dropout 深度学习中间的正则化手段之一
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。
推荐阅读更多精彩内容
- autograd实现了自动微分系统,然而对深度学习来说过于底层,本章将介绍的nn模块,是构建于autograd之上...
- 第10章 使用Keras搭建人工神经网络[https://www.jianshu.com/p/86626c7981...