第一章内容不多，要做好几个概念的梳理。

假设与假设空间

假设可以认为是某种规律，也可以说某个模型。一个特定问题可以有很多假设（往往是无穷多的），这些假设就组成了假设空间。借助算法，我们可以从假设集中选出合理的假设。

归纳偏好

算法的目的是要根据训练数据，从假设空间中选出最佳的一个假设。可能假设空间中有很多假设都满足训练集，这些假设构成版本空间。

接下来还要从版本空间中挑一个假设出来。在其中假设都满足训练数据的情况下，算法必然要有一些偏好，比如希望模型更普适还是更特异。比较常用的一种偏好称为“奥卡姆剃刀原则”，即选择最简单的那个假设。

NFL定理

NFL就是no free lunch，意思是如果你打算将一种算法推广到所有问题上，你会发现没有哪种算法更优秀，大家整体表现都一样。具体证明书上有，不过没看太懂P(x)是啥意思，暂不纠结。给我们的启示直接摘抄一下：

1. 脱离具体问题，空泛地谈论“什么学习算法更好”毫无意义；

2. 学习算法自身的归纳偏好与问题是否相配，往往会起到决定性的作用。