- 偏差 - 方差
- 学习曲线
偏差 - 方差
泛化与近似的权衡
Eout较小时，说明所提出的f与实际相比的近似度较高。即在实际环境中误差小。
复杂的h能够更好的近似f
而更为简单的h能够更好的泛化到实际环境中
偏差
量化权衡的方式：
有两种量化的方式可以用来考虑权衡:
- VC分析的方式： E_out ≤ E_in + Ω
- 偏差-方差分析：分析E_out
1 假设空间对f的近似程度
2 对于一个好的假设h 进行适度方法（泛化） - 在实际值的计算过程中，我们使用平方差。
E_out的分析：
D为样本集合
Ex为在整个x数据空间中的Error预期值。
E_out在整个样本数据空间中额预期Error为：
上面推导过程中：
与数据集D无关项为常数项。
g^D(x)的期望就是g均值，所以交叉项消去
综上：
等式右边的
第一项为方差，方差（样本方差）是每个样本值与全体样本值的平均数之差的平方值的平均数。
第二项为偏差，偏差是指个别测定值与测定的平均值之差。
偏差与方差的平衡
从左到右，偏差下降，方差上升。
实例：
我们从学习的角度考虑下面这个例子：
在知道最终的目标的情况下，我们可以选择出h0 h1最优的形式：
但当我们仅获得了N个数据点的时候，我们所得到的结果可能如下：
这就是为什么我们需要使用偏差-方差去衡量h
如果我们对h0给出较大的N：
绿线与蓝色之间的空间为偏差，而与灰色部分的空间为方差。
对h1而言
我们可以得到更小的偏差，但是方差的空间也变大了。
最终结果
所以，模型的复杂度应该与数据量相匹配而不是目标的复杂度。
学习曲线
刻画Ein Eout的关系
复杂模型与简单模型的对比：
在复杂模型中error为0的位置为VC维，低于该处的N可以为完全划分，所以Error为0。
VC中红色部分基本可以视为Ω
在偏差-方差分析中，我们不关注在样本中误差，因为我会直接使用g平均。
以线性回归为例：
上图中，样本内误差与样本外误差都有σ^2来衡量，而泛化误差就是Eout-Ein。结果恰好证明了VC维度对这些误差的控制。
