这讲主要讲validation， model selection， cross validation。 在之前的课程中Eout等于Ein加上过拟...

这一节主要讲梯度更新与BP算法。 我们将把所有的样本的误差求平均然后进行更新的算法称之为batch gradient descent。一次只更新...

在VC理论中， 仅仅考虑了Eout < Ein + \delta, 其中\delta 与growth function， N相关， 但是却没考虑...

这一节主要讲了overfitting， 主要来源自noise， 而noise来源主要有二： 其一是数据本身带有noise， 其二是模型本身的hy...

非线性变换。对于线性不可分的情况， 可以进行非线性变换(可能增加VC dimension）。变换之后的坐标之间是有冗余的， 有可能存在关联关系，...

这一节主要探讨kernel的方法，以及SVM如何做到some error tolerate—— soft margin。 我们将拉格朗日函数表达...

在线性可分的例子中， 我们也是希望margin越大越好， 它能给予更大的泛化能力margin 接下来就是寻找w的过程了。 我们做了两个预先的假定...

在这之前整理一下之前的脉络。 首先我们一直强调的是让Ein尽量靠近Eout， 最开始用了Hoeffding不等式， 其实右边可以看成是所有的Er...

VC dimension就是假设空间能打散的最多的点， 也就是刚好比break point小1.definition 因此， growth fu...