机器学习-2019-11-05

只是记录机器学习中学到的内容。

1. 在视频中，对魔方的推测，让我想到之后学习的，在样本中Ein=0，但是在样本外Eout=/0。

可能的原因是

1. 只使用了有限的样本或者样本集

2. 没有使用验证集来验证g(x)在样本外的表现

3. 使用了过于复杂的高纬度函数，产生了过拟合。

2. 如果是iid （独立同分布）的抽样数据，那么可以用抽样的样本来推测整体的情况

一个样本集的情况：只需要知道 $\epsilon$ 和N。 $\epsilon$ 是可以容忍的错误概率，N为样本个数。整个函数与P和F无关。

$P[|\upsilon -\mu |>\varepsilon ]\leq 2 exp(-2\varepsilon ^2N )$

霍夫丁不等式

M个样本集的情况，使用Union Bound将M个样本集D，集合在一起

$P[|E_{in}- E_{out} |>\varepsilon ]\leq 2 Mexp(-2\varepsilon ^2N )$

3. 如果M无上限，则上述函数没有结。这时，为M找一个上限约束M。将这个上限定义为 $m_{H}$

4. 对 $m_{H}$ 使用分类。在M中其实夸大了数量。如果M1能将 $y=sign(w^Tx )$ 的ox分开，那么将M1轻微转一下的M2,M3...都可以将 $y=sign(w^Tx )$ 分开。那么认为：M1和M2,M3....属于一类。M1和M2,M3等没有区别。至于M1.M2，M3哪个最好，在后期的SVM会介绍