引言

机器学习研究的主要内容是关于在计算机上从数据中产生“模型”（model）的算法，即学习算法（learning algorithm）。
若计算机科学是研究“算法”的学问，那么类似的，机器学习可以是研究“学习算法”的学问。

基本术语

• 数据集（data set）：一组记录的集合
• 示例（instance）或样本（sample）：数据集中的每条记录，关于一个时间或者对象的描述
• 属性（attribute）或特征（feature）与属性值（attribute value）：反映事件或者对象在某方面的表现或性质的选项。属性的取值
• 属性空间（attribute space），样本空间（sample space）或者输入空间：属性张成的空间
• 特征向量（feature vector）：空间中的每一点对应一个向量，示例也可称为特征向量。
• 维数（dimension）：属性描述个数
• 学习（learning）或者训练（training）：从数据中学得模型的过程。
• 训练数据（training data）、训练样本（training sample）、训练集（training set）：训练过程中使用的数据、训练过程中使用的每个样本、训练样本组成的集合。
• 假设（hypothesis）与真相或真实（ground-truth）：学得模型对应了关于数据的某种潜在的规律称为假设，这种潜在规律自身称为真相或者真实。学习过程就是为了找出或逼近真相。
• 标记（label）：关于示例结果的信息。
• 样例（example）：拥有了标记信息的示例。
• 标记空间（label space）或输出空间：所有标记的集合。
• 分类（classification）：模型预测（prediction）的是离散值
• 回归（regression）：模型预测（prediction）的是连续值
• 测试（testing）：预测的过程。被预测的样本称为测试样本（testing sample）。
• 聚类（clustering）：训练集中数据分成若干组，每组称为一个簇（cluster），自动形成的簇可能对应一些潜在的概念划分。
• 学习任务的划分：根据训练数据是否拥有标记信息，学习任务可大致分为两大类：监督学习（supervised learning）和无监督学习（unsupervised learning）。其中分类和回归是前者的代表，聚类是后者的代表。
• 泛化（generalization）能力：学得模型适用于新样本的能力
  一般而言，训练样本越多，得到的分布信息越多，越有可能通过学习获得具有强泛化能力的模型。

假设空间

• 归纳（induction）：从特殊到一般的“泛化”（generalization）过程，从具体的事件归结出一般性的规律。从样例中学习、从训练数据中学得概念（concept）是一个归纳过程，亦称归纳学习（inductive learning）。
• 演绎（deduction）：从一般到特殊的“特化”(specialization)过程，从基本原理的推演出具体的状况。
• 学习过程可以看作是在所有假设（hypothesis）组成的空间中进行搜索与训练集匹配（fit）的假设的过程，假设表示一旦确定，假设空间的规模大小就确定了。
• 版本空间（version space）：与训练集一致的“假设集合”。版本空间从假设空间剔除了与正例不一致和与反例一致的假设，它可以看成是对正例的最大泛化。

归纳偏好

• 机器学习算法在学习过程中对某种类型假设的偏好称为归纳偏好（inductive bias）。归纳偏好对应了学习算法本身所做出的关于“什么样的模型更好”的假设。
• 任何一个有效的机器学习算法必有其归纳偏好，否则无法产生确定的学习结果。
• 算法的归纳偏好是否与问题匹配，大多时候直接决定了算法能否取得好的性能，往往起决定性作用。
• 奥卡姆剃刀（Occam‘s razor）：若有多个假设与观察一致，则选择最简单的那个。一个常用的、自然科学研究中最基本的原则用来引导算法确定“正确”的偏好。
• NFL（no free lunch）:所有问题出现的机会或所有问题同等重要的前提下，好的学习算法和坏的学习算法，它们的期望性能是相同的，也就是总误差与学习算法无关。因此脱离具体问题空谈“什么学习算法更好”无意义，谈论算法的相对优劣必须要针对具体的学习问题。

发展历程

• 推理期：赋予机器逻辑推理能力
• 知识期：机器自己能够学习知识
• 学习期：不仅利用领域知识辅助学习，还通过学习对领域知识进行精化和增强。

应用现状

美国国家科学基金会强调要深入研究和整合大数据时代的三个关键技术：机器学习、云计算和众包（crowdsourcing）。它们分别负责提供数据分析能力、数据处理能力和数据标记能力