方差与偏差

方差表示，不同采样下预测结果的摆动情况

偏差表示，预测值对真实值的接近程度

模型约复杂，偏差越小方差越大­­­­­­­­

­­­­­

训练误差修正

基于训练误差 获得较好的预测误差

考虑兼顾方差和偏差的评价方式， 不单单以残差为唯一标准，同时引入模型的特征数量作为惩罚项

进一步：AIC 和BIC 的对比https://zhuanlan.zhihu.com/p/142489599

AIC

Kl距离：“tSNE”中有所涉及， aic中对kl距离用log似然函数来表示。

BIC­­­

相对AIC增大了对模型特征数的惩罚

­­

交叉验证

前面讨论的对训练误差修正得到测试误差的估计是间接方法，这种方法的桥梁是训练误差，而交叉验证则是对测试误差的直接估计。交叉验证比训练误差修正的优势在于：能够给出测试误差的一个直接估计，

共线性来源：

1 数据采集： 采样方式导致只采集了独立变量的一个小的子集

2 外部限制： 物理政治法律

3 模型的过度定义： 变量多于观测值

4 数据重构： 如果采样子集过小，那任何形式的指数或交叉项组合都会增加共线性

5 离群点主导：

识别共线性：

1 成对散点图明显趋势

2 相关性矩阵中的高相关性

3 方差膨胀系数VIF 越高表示共线性系数

4 相关性矩阵的特征值接近0表示共线性，使用条件数，大的条件数表征共线性

5 对比拟合系数的符号，多元与一元拟合符号相反

修正共线性方法：

外部方法：

1 增量增广 提高采样的数量和质量Ifthe multicollinearity has been created by the data collection, collectadditional data over a widerX-subspace.

2 简化模型If the choice of the linear model has increased themulticollinearity, simplify the model by using variable selection techniques.

3 剔除异常观测值If an observation or two has induced themulticollinearity, remove those observations.

内部方法：

1 岭回归