神经网络的参数设计

现在神经网络基本一上就是深度神经网路,而深度神经网路就像个黑箱一样,对于什么样的场景该设计什么样的结构还没有理论支持,都是全凭经验,所以本文也仅限于经验之谈。

一、论文:A practical theory for designing very deep convolutional neural networks

论文大意:虽然人们的直觉是网络越深越好,但是随意地增加深度可能会适得其反。论文将卷积网络分为分类器和特征提取两个层次。

分类器层:

    分类层通常是两层全连接加dropout,但是这样的数据量不够的时候容易过拟合。我们发现将特征映射进行下采样,然后过两层卷积,再做maxpool,最后再加上dropout会更好。

特征层:

    卷积层的感受域应该随着网络深度的增加而增加,当感受域达到图片大小时,特征层不再加深。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容