线性回归解决的是一个或多个特征输入对输出的影响。
之前 的取值为{0,1}，判断值只能是“YES”或者“NO”；现在线性回归，则是整个实数集。
线性回归
在Linear Classification中，将1，-1变换成o,x在二维或者多维空间，希望有一条直线或者平面可以将o,x进行分割
在线性回归中，将所有的输入X得到的Y，变成o，分布在整个实数空间(二维或者多维)。然后用 “余数” 表示预测/实际的Y到真实函数Y=f（x）的距离
如果我们相信VC bound，那么我们可以通过Ein 来推到出Eout。这时问题则变成如何最小化Ein
通过上面的整理，可以得到，是d+1维的。其中
在VC bound中，通过分类的方法，找到其中某几个H，使得Ein最小并且有上界；在Noise中，学到了Pointwise的方法，也就是看过每个point后，得到err。在线性回归中，使用Pointwise的方法，对得到的Ein，求平均。
这个式子有什么样的几何含义呢？
Y=f(x)是理论上的那个平面，是预测/实际值。 W(LIN）是最小化Ein得到的W。那么预测
的话，
应该落在Wlin*X的平面上
如果 最小，则应该有一个向量，垂直于span X
,而
，可以理解为Y在
的投影
那么（I-H）可以理解为，即垂直于span X的那条线
在Noise学过，y=ideal mini target f(x)+Noise ,f(x)=w*x，在span X的平面内。
那么Y-mini target f(x)=Noise，在几何意义上，可以理解为，mini target F(x)是Y在 Span X的投影。Noise就是Y-mini target F（x）。 y-mini targrt F(x)可以理解为Wlin最佳解的()*Noise。其中Y是N维，
是d+1维的。I-H是N-(d+1）维的。
最后求平均得到
Eout-Ein=2(d+1)\N
Learning Curve提示：
1. 在N取向无穷大时，Ein平均和Eout平均，都会无限趋近与Noise level。
2. Ein的平均，都是修正，会使得Ein平均越来越小。而Eout平均，则会稍微偏离原来的方向。
3. 泛化能力产生的错误Eout-Ein=2(d+1)\N
