一、过拟合
模型复杂度太高的表现，模型的泛化能力十分重要，交叉验证是识别过拟合的好方法。
1、主要原因
数据有噪声，无法避免，会影响训练集的数据分布。
训练数据有限，样本无法反映整体分布。
2、解决方案
Early stopping，迭代k次验证误差无改善，则停止训练。
增加数据集，data expending，数据决定模型上限，算法只是逼近。
正则化方法，在目标函数中增加包含参数的正则化项，本质是控制模型复杂度。
DroupOut，神经网络中使用，随机性。
二、L1正则化 vs L2正则化
略。
三、结论
Start from a simple model !
附，参考资料：
1、【机器学习算法系列之二】浅析Logistic Regression，https://chenrudan.github.io/blog/2016/01/09/logisticregression.html
