整个推到的逻辑:
首先,我们的M是无限的,现在想要替换成有限个,于是我们找上界,找到了break point,发现这个点可以打破指数增长的规律;而对于不同的维度模型mH(N)是不同的,于是,准备一个上界函数B(N , K),这样就不用再考虑维度问题了,直接找上界函数即可;之后又找到B(N , K)的上界函数是一个多项式。于是就保证了这个M是可控制的。
1. 泛化能力指的是:如何用 尽量小的,得出
。这取决于2点:
1. 找到一个好的D,使
2. 数据量N尽量大
3. 对于hypotheses set来讲,使H 有Break point
下面针对Break Point 的陈述:
1. 第一个不能被shattered的点,叫BP。
在convex set的集合中,没有BP
在2D 中,,4是2D的BP.
2. 经过推到,希望mH是一个多项式,而不是指数

3. Bound Function B(N,K)

,最大就
M的上界,是一个多项式!
4. VC Bound
正常的想法是把M的上界带回原式:

但这样是不行的,因为一个M就对应这一个Ein,但是Eout是无限个的,而替换了M成mH(N)之后,这个Ein就是有限的了,两个级数不同是不可以进行计算的。所以正确的公式:





推到:
https://blog.csdn.net/songzitea/article/details/43112233
思路