概念=未知目标函数
样本集大小
“不可知PLA可学习”
二分类问题，0-1损失函数（0-1 loss function）
泛化误差（generalization error）也称期望损失（expected loss）
经验误差（empirical error）也称经验损失（empirical loss）
由于数据集D是独立同分布的采样，因此
的经验误差期望等于其泛化误差，带入霍夫丁不等式（Hoeffding Inequality）
上面说到期望就是平均数随样本趋于无穷的极限，那么这句话是什么意思呢？
我们还是以上面的掷骰子为例子：
如果我们掷了无数次的骰子，然后将其中的点数进行相加，然后除以他们掷骰子的次数得到均值，这个有无数次样本得出的均值就趋向于期望。
个人理解：均值为多个随机变量的和再除以个数，相当于还是一个随机变量，当数量足够多的时候，这个随机变量会收敛，这个收敛的值为期望
，
泛化误差上界（generalization error bound）
联合约束（Union Bound）
，
对分（dichotomy）
增长函数（growth function），max表示最大
打散（shattering），N个样本点的集合 能 被H给打碎，或者说H 能 打碎N个样本点的集合
突破点（break point），N个样本点的集合 不能 被H给打碎
vc维（VC Dimension），max表示最大
一个数据点呈圆形分布的凸集，这时找不到任何突破点（break point），此时vc维趋于无穷。
如果一个集合被
打碎，那么它也能被
打碎，因为
中包含
所有在
上不重复的函数。
此外，如果一个集合被
打碎，集合
也将被
打碎，因为对
中的所有函数，
都包含另外一个函数，它仅在
上的输出和前一个函数不同。
递归：大雄在房里，用时光电视看着未来的情况。电视画面中的那个时候，他正在用时光电视，看着未来的情况。电视画面中的那个时候，他正在用时光电视，看着未来的情况……
当的时候，
基于vc维得到的泛化边界（model complexity）
对于不同的学习任务（分类，回归，..）使用不同的损失函数（loss function）才能正确的解答。
X的样本数量为N
打散（shattering）就是我们给它任何一种ooxx组合
，都要能够做到
也就是一条直线正确分类。
只要
可以求逆就能求出与之相对应的
，全部的
种组合都可以使用这种做法。
