现在我们想这么一个问题：如下图所示，一个罐子里有很多弹珠，但是我们并不知道橙色的弹珠有多少，也不知道绿色的弹珠有多少。
假设bin内橙色弹珠的可能性为，那么绿色弹珠的可能性就是，其中是未知的。
从bin内随机取出一个样本，假设样本内橙色弹珠的可能性为，那么绿色弹珠的可能性就是，其中是未知的。
那么能否代表？
我们先看一个公式：Hoeffding's Inequality
Hoeffding's Inequality
in big sample(N large),is close to (within )
the statement '
' is probably approximately correct(PAC)
Hoeffding不等式对于所有的和都有效，且与无关，也就是说不需要提前知道。因此足够大或者足够小时，就会成立。
Connection to Learning
将bin内的弹珠求颜色可能性问题对比于机器学习：
那么当 和足够大的时候，就能通过已知的（从样本学习的）推出未知的。
现在我们用表示in-sample error（也就是）用表示out-sample error（也就是）。
for any fixed h,in big 'data' (N large), is probably close to (within )
Note:if '%20%5Capprox%20E_%7Bout%7D(h))
' and ')
is small'
')
'is small'
'with respect to 
然而，以上所述在真实环境下也真成立吗？
Connection to Real Learning
如果在某个数据集
上，、相差很大，那么这个数据集就是一个BAD Data。
那么对于M个假设(hypothesis), 上界是多少呢？
也就是说，即假设集(a set of hypothesis)的大小为M(M是有限的)，并且N足够大的时候，无论是什么learning algorithm，
当某个learning algorithm能使得,根据PAC(probably approximates correct)能够推出
那么，Learning Flow如下图所示：
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。
