数据集、属性、向量、维数

如我们预测的是离散值，例如“好瓜”“坏瓜”，此类学习任务称为“分类”

若预测的是连续值，例如西瓜的成熟度0.95、0.37，此类学习任务称为“回归”

对只涉及俩个类别的“二分类”任务，通常称其中一个类为“正类”，另一类为“反类”，涉及多个分类为“多分类”，

标记空间、回归、分类、测试

聚类

泛化能力：机器学习的目标是使学得的模型能很好地适用于“新样本”，而不是仅仅在训练样本上工作得很好；即便对聚类这样的无监督学习任务，我们也希望学得的簇划分能适用于没有在训练集中出现的样本，学习模型适用于薪样本的能力，称为泛化能力。

假设空间

归纳与演绎

假设空间

3、2、2种可能取值：假设空间是：（3+1）*（2+1）*（2+1）
+1 = 37，要把每个属性取什么值都可以“*”考虑进去，还要考虑概念不成立+1

版本空间：现实问题中我们常面临很大的假设空间，单学习过程中是基于有限样本训练集进行的，因此，可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，我们称之为“版本空间”

删除与正例不一致的假设和与反例一致的假设

归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”

奥卡姆剃刀是一种常用的、自然科学研究中最基本的原则，即”若有多个假设与观察一致，则选最简单的那个“

奥卡姆剃刀

两种可能性都可能存在（没有免费午餐定理NFL）

算法的相对优劣，必须针对具体的学习问题

学习算法自身的归纳偏好与问题是否相配，往往会起到决定性的作用