过拟合、欠拟合及其解决方案
主要内容包括：
1.过拟合、欠拟合的概念
2.权重衰减
3.丢弃法
具体内容(附代码)链接：https://www.kesci.com/org/boyuai/project/5e429d955f2816002ce91413
代码讲解视频链接：伯禹学习平台
选择题
1.
关于验证数据集的描述错误的是：
A.测试数据集可以用来调整模型参数
B.验证数据集可以用来调整模型参数
C.在数据不够多的时候，k折交叉验证是一种常用的验证方法
D.k折交叉验证将数据分为k份，每次选择一份用于验证模型，其余的用于训练模型
答案：A
测试数据集不可以用来调整模型参数，如果使用测试数据集调整模型参数，可能在测试数据集上发生一定程度的过拟合，此时将不能用测试误差来近似泛化误差。
2.
关于过拟合、欠拟合概念的描述错误的是：
A.过拟合是指训练误差很低，泛化误差相对于训练误差要高很多
B.过拟合和欠拟合可以同时发生
C.欠拟合是指训练误差和泛化误差都无法到达一个较低的水平
D.过拟合和欠拟合都是在训练中容易遇到的经典问题
答案：B
过拟合是指训练误差达到一个较低的水平，而泛化误差依然较大。
欠拟合是指训练误差和泛化误差都不能达到一个较低的水平。
发生欠拟合的时候在训练集上训练误差不能达到一个比较低的水平，所以过拟合和欠拟合不可能同时发生。
3.
关于模型复杂度和数据集大小造成欠拟合和过拟合的描述错误的是：
A.模型复杂度低容易导致欠拟合
B.训练数据集小容易导致过拟合
C.解决欠拟合可以考虑增加模型的复杂度
D.缓解过拟合只能增加训练数据集的大小
答案：D
过拟合还可以使用权重衰减和丢弃法来缓解，即使在一个比较小的数据集上使用了权重衰减和丢弃法之后也能够达到一个比较好的效果。
4.
关于权重衰减和丢弃法的描述错误的是：
A. L2范数正则化在损失函数的基础上添加了L2范数惩罚项
B. L2范数惩罚项通过惩罚绝对值较大的参数的方法来应对欠拟合的
C. 丢弃法通过随机丢弃层间元素，使模型不依赖于某一个元素来应对过拟合的
D. L2范数正则化是权重衰减的一种方式
答案：B
L2范数正则化也就是权重衰减是用来应对过拟合的。
