现在神经网络基本一上就是深度神经网路,而深度神经网路就像个黑箱一样,对于什么样的场景该设计什么样的结构还没有理论支持,都是全凭经验,所以本文也仅限于经验之谈。
一、论文:A practical theory for designing very deep convolutional neural networks
论文大意:虽然人们的直觉是网络越深越好,但是随意地增加深度可能会适得其反。论文将卷积网络分为分类器和特征提取两个层次。
分类器层:
分类层通常是两层全连接加dropout,但是这样的数据量不够的时候容易过拟合。我们发现将特征映射进行下采样,然后过两层卷积,再做maxpool,最后再加上dropout会更好。
特征层:
卷积层的感受域应该随着网络深度的增加而增加,当感受域达到图片大小时,特征层不再加深。