Dropout 深度学习中间的正则化手段之一

nn.Dropout ---- input 可以是任何形状和尺寸,一般是用在全连接线性映射之后(紧跟着)。

nn.Dropout2d ---- input 必须是(N,C,H,W) 这样的多通道2维数据集合。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。

nn.Dropout3d---- input 必须是 (N,C,D,H,W) 这样的多通道的3维数据集。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。

nn.AlphaDropout---input 可以是任何尺寸,输出的尺寸大小和input一致, 目的是为了保证输出的结果是零均值和单位方差。

nn.FeatureAlphaDropout ---input必须是(N,C,D,H,W) 或者是 (C,D,H,W), 输出尺寸大小和输入一致。 保证输出的结果是零均值和单位方差。如果特征图里面的临近像素点存在强相关性,纳闷dropout不会使用,否则会的话,可以使学习率有效递减。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
禁止转载,如需转载请通过简信或评论联系作者。

推荐阅读更多精彩内容