关键词：Model Ensembles（模型集成）、Dropout
Summary
Model Ensembles（模型集成）
训练多个独立的模型，然后在测试时取他们结果的平均值，表现会比一般情况好一些
Model Ensembles
Multiple snapshots
Polyak averaging
Regularization
下图中前面几个是相对比较常用的
Regularization
Add term to Loss
Dropout
理解：可以将Dropout看做是大型的Model Ensembles,每一个binary Mask都可看做一个模型.
为什么要做Dropout呢？
防止过拟合，因为使用Dropout后，会随机是一些神经元的输出为0，那么模型相对而言就变小了，变量减少，表达能力减弱，可以防止过拟合
Dropout
在线性单元的情况下，使用Dropout，在训练时，期望值会变为原来的1/2。那么训练的期望值和测试集输出的期望值就不同了，所以需要调整，要不训练的期望值增大 （除以P），或者测试的期望值减小（Predict * P）
Drop-Test
Dropout - scale
Inverted Dropout
Batch Normalization
Batch Normalization
Data Augmentation 数据增强
在图像的深度学习中，为了丰富图像训练集，更好的提取图像特征，泛化模型（防止模型过拟合），一般都会对数据图像进行数据增强。
所以使用数据增强的目的：1，增加数据集的大小 2，一定程度上避免过拟合
在图像识别分类上，一般使用的方法如下图，拉伸、旋转等。对于语音，文字来说，可以有错别字，可以有鬼画符，可以有说错的音，外界的噪声，这些都可以加到原先的有限数据集中。
Data Argument
Random crops and scales
Color Jitter
