机器学习-泛化能力2019-11-07

整个推到的逻辑:

首先,我们的M是无限的,现在想要替换成有限个,于是我们找上界,找到了break point,发现这个点可以打破指数增长的规律;而对于不同的维度模型mH(N)是不同的,于是,准备一个上界函数B(N , K),这样就不用再考虑维度问题了,直接找上界函数即可;之后又找到B(N , K)的上界函数是一个多项式。于是就保证了这个M是可控制的。

1. 泛化能力指的是:如何用 尽量小的E_{in}  ,得出E_{out}  。这取决于2点:

        1. 找到一个好的D,使 E_{in}  \approx0

         2. 数据量N尽量大

        3. 对于hypotheses set来讲,使H 有Break point

       P[|E_{in}- E_{out}  |>\varepsilon ]\leq 2 Mexp(-2\varepsilon ^2N )

下面针对Break Point 的陈述:

1. 第一个不能被shattered的点,叫BP。

在convex set的集合中,没有BP m_{H} = 2^N

在2D 中,m_{H} = 14<2^4,4是2D的BP.

2. 经过推到,希望mH是一个多项式,而不是指数

m_{H}\leq B(N,K)\approx  poly(N)\leq 2^N

3. Bound Function B(N,K)

B(N,K)=\sum_{i=0}^{k-1} (\frac{N}{K} ),最大就N^{K-1}

M的上界,是一个多项式!

4. VC Bound 

正常的想法是把M的上界带回原式:

但这样是不行的,因为一个M就对应这一个Ein,但是Eout是无限个的,而替换了M成mH(N)之后,这个Ein就是有限的了,两个级数不同是不可以进行计算的。所以正确的公式:



推到:

https://blog.csdn.net/songzitea/article/details/43112233

思路

https://cloud.tencent.com/developer/article/1331658

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容