深度学习(花书)

第二部分 深度网络：现代实践

第七章 深度学习中的正则化

为了提升泛化能力，许多策略可以显示地被设计用以减少测试误差(可能会提高训练误差)，此类策略被称为正则化

正则化的若干策略：

1. 参数范数惩罚 向目标函数添加惩罚函数
   • 参数正则化
   • 参数正则化 稀疏解
2. 作为约束的范数惩罚 显示约束与重投影
3. 正则化和欠约束
4. 数据集增强
5. 噪声鲁棒性
6. 半监督学习 含标记样本和未标记样本
7. 多任务学习 当模型的一部分被多个额外的任务共享时，该部分将会受到更好的约束
8. 提前终止
9. 参数绑定与参数共享 利用先验知识使得某些参数得以接近
10. 稀疏表示 惩罚激活单元
11. 模型平均 多模型表决
12. dropout 仅限大规模数据集 近似bagging且具备隐藏单元的集成模型
13. 对抗训练 用以测试模型的理解能力 旨在降低局部区域的敏感性
14. 切面距离、正切传播和流型正切分类器