VC维(Vapinik Chervonenkis Dimension)可以度量模型的表达能力(representational power).

Learner & Complexity

underfit vs overfit

Before we define VC

Test Error(Long term)

Training Error(Finite)

With High prob, Vapinik shows the upper bound

定义

换言之, VC维度H是表示f(x)能打散(shatter)的最大样本数. 这里youtuber给了一个很形象的解释, 假设两个玩家在比赛, 首先1号选择维度, 二号给维度中的点labels,让一号玩家选择theta区分开, 如果1号玩家能区分开来, 那么1号玩家赢了.
youtube讲解