目录：
1.1整体大纲
1.2基本术语
1.3假设空间
1.4归纳偏好
1.1机器学习的整体大纲：
经验与模型的关系:经验（在计算机系统中，叫数据）产生模型（学习算法）,学习算法利用经验（数据）提供相应的判断。
按照我的理解，就是整合数据和分析数据的一个过程。我们通过算法、模型来对数据（足够多）进行分析和作出判断。应该把重点放在模型上面，即如何选择适合的算法、模型。
1.2基本术语的解释
"色泽" "根蒂" "敲声"，称为")副主" (attribute) 或"特征" (feature);
属性上的取值，例如"青绿" "乌黑"，称为")副主值" (attribute va1ue).
属性行成的空间称为"属性空间" (attribute space)、 "样本空间" (samp1e space)或"输入 空间"
D = {Xl，X2..， Xm} }表示包含 m 个示例的数据集，每个示例集由d个属性，每个示例Xi=（Xi1，Xi2，……Xid），Xij是Xi在第i个属性上的取值。
拥有了标记信息的示例，则称为"样例" (examp1e). 一般地，用(Xi， Yi) 表示第 4 个样例，其中执 y属于Y 是示例 Xi 的标记， Y 是所有标记的集合， 亦称"标记空间"或"输出空间
监督学习和无监督学习：学习任务可以分为两类，监督学习（分类、回归，有标记）和无监督学习（聚类，无标记）
分类：预测的是离散值，如“好瓜”“坏瓜”（回归是对真实值的一种逼近预测）
回归：预测的是连续值，如西瓜成熟度0.65，0.78（分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的）
聚类：学习算法在做聚类分析的时候是自动产生的类别，“浅色瓜”“深色瓜”这样的概念我们事先是不知道的，样本无标记信息
特征向量：即示例，反映事件或对象在某方面的性质。例如：西瓜的色泽，敲声
二分类：正类，反类。样本空间——>输出空间；输出空间={+1，-1}或{0，1}
多分类：|输出空间|>2
1.3假设空间
假设空间：每种特征的组合都认为是一个假设（hypothesis），所有假设的集合我们称之为假设空间。如果“色泽”，“根蒂”，“敲声”分别有3，2，2种可能，（每种特征值都要加一种任意值可能）那么假设空间的规模就是4x3x3 + 1 = 37。最后结果加1是由于存在一种可能就是根本没有“好瓜”这个概念，或者说“好瓜”跟这些特征都没有关系。
假设的表示一旦确定，假设空间及其规模大小就确定了. 这里我们的假设空间由形如"(色泽=?)八(根蒂=?) ^ (敲声=?)"的可能取值 所形成的假设组成
1.4归纳偏好
归纳偏好：如果没有偏好，所有的假设都是等效的，那么输出的判断将会没有意义。
如何选择好的算法？
第一，
奥卡姆剃刀原则：（若有多个假设与观察一致，则选最简单的那个）；
奥卡姆剃刀不适用：在问题出现的机会相同，所有问题同等重要，对于任意两个学习算法，其总误差相等，期望值相同。
第二，
NFL定理：算法不是万能的，具体问题具体分析。
