周志华《机器学习》可以说是国内机器学习方面堪称经典的入门书籍了，做个读书笔记，方便以后温故知新。
例：假设我们收集了一批关于西瓜的数据，例如（色泽 = 青绿；根蒂 = 蜷缩；敲声 = 浊响），（色泽 = 乌黑；根蒂 = 稍蜷；敲声 = 沉闷），（色泽 = 浅白；根蒂 = 硬挺；敲声 = 清脆），……
示例(instance)或样本(sample): 关于一个事件或对象的描述，例如上例每个括号中是对一个西瓜的描述可以称为一个示例或样本。
数据集(data set): 示例或样本的集合。
属性(attribute)或特征(feature): 反映事件或对象在某方面的表现或性质的事项，例如：“色泽”，“根蒂”，“敲声”。
属性值(attribute value): 属性上的取值，例如： “青绿”，“蜷缩”，“浊响”。
属性空间(attribute space)或样本空间(sample space)或输入空间: 由属性张成的空间，例如，我们把“色泽”，“根蒂”，“敲声”作为三个坐标轴，则它们张成一个用于描述西瓜的三维空间，每个西瓜都可以在这个坐标中找到自己的坐标位置。
特征向量(feature vector): 由于空间中每个点对应一个坐标向量，因此，我们也把一个示例或样本也称为一个特征向量。
学习(learning)或训练(training): 从数据中学得模型的过程，这个过程通过执行某个学习算法来完成。
训练数据(training data): 训练过程中使用的数据。
训练样本(training sample): 训练数据中的每一个样本称为训练样本。
训练集(training set): 训练样本组成的集合。
假设(hypothesis): 学得模型对应了关于数据的某种潜在的规律。
真相或真实(ground-truth): 某种潜在规律自身，学习过程就是为了找出或逼近真相。
学习器(learner): 可以看做学习算法在给定数据和参数空间上的实例化。
标记(label): 示例或样本结果的信息，例如 “好瓜”，“坏瓜”。
样例(example): 拥有了标记信息的示例或样本。
标记空间(label space)或输出空间: 所有标记的集合。
分类(classification): 欲预测的是离散值，例如 “好瓜”，“坏瓜”。
二分类(binary classification): 欲预测的只涉及两个类别，通常称其中一个类为“正类(positive class)”，另一个为反类或负类(negative class)，输出空间 y = { -1, +1 } 或 {0，1}。
多分类(multi-class classification): 欲预测的涉及多个类别，输出空间|y| > 2 。
回归(regression): 欲预测的是连续值，例如西瓜的成熟度 0.95、0.37，输出空间y= R，R为实数集。
测试(testing): 学得模型后，使用其进行预测的过程，例如在学得模型f后，对测试例x，可得到其预测标记y=f(x)。
测试样本(testing sample): 被预测的样本。
聚类(clustering): 即将训练集中的西瓜分为若干组，每组称为一个“簇(cluster)”
监督学习(supervised learning): 训练数据拥有标记信息，分类和回归属于监督学习。
无监督学习(unsupervised learning): 训练数据没有标记信息，聚类属于无监督学习。
泛化(generalization)能力: 学得模型适用于新样本的能力，具有强泛化能力的模型能很好地适用于整个样本空间。
