今天第一次在别人的代码里面看到了dropout 这个功能，找了一下相关的资料大概理解了一些。论文地址
概念
dropout其实挺简单的，一句话说就是每次训练的时候，按照一定几率P随机丢弃一些feature或者Input， 具体做法是把这一项feature设置成0
然后把剩下的没有丢弃的feature或者input 按照 1/P 的倍率放大。
动机
dropout是为了解决大网络但是小训练集的过拟合问题，但是可以一般性的避免过拟合。
这里总结一下我所知道的避免过拟合的方法
- early stopping
- L1 and L2 regularization
- dropout
如何选择dropout 的概率
input 的dropout概率推荐是0.8， hidden layer 推荐是0.5， 但是也可以在一定的区间上取值
缺点
缺点就是会明显增加训练时间，因为引入dropout之后相当于每次只是训练的原先网络的一个子网络，为了达到同样的精度需要的训练次数会增多。
总结
大型网络但是数据集缺少的时候可以使用dropout防止过拟合，对于小型网络或者说不缺数据集的网络不推荐使用。
