tags: 机器学习
监督学习模型
监督学习的任务是学习一个模型，对给定的输入预测相应的输出，这个模型的一般形式维一个决策函数或一个条件概率分布。
决策函数：输入 X 返回 Y；其中 Y 与一个阈值比较，然后根据比较结果判定 X 的类别
条件概率分布：输入 X 返回 X 属于每个类别的概率；将其中概率最大的作为 X 所属的类别
1. 判别模型
- 代表：K 近邻、感知机（神经网络）、决策树、逻辑斯蒂回归、最大熵模型、SVM、提升方法、条件随机场
- 思想： 由数据直接学习决策函数
或条件概率分布
作为预测的模型。
- 理解： 直观的说，判别模型学习的是类别之间的最优分隔面，反映的是不同类数据之间的差异
- 举例：要确定一个羊是山羊还是绵羊，用判别模型的方法是从历史数据中学习到模型，然后通过提取这只羊的特征来预测出这只羊是山羊的概率，是绵羊的概率。
2. 生成模型
代表：朴素贝叶斯、隐马尔可夫模型、混合高斯模型、贝叶斯网络、马尔可夫随机场
思想：由数据学习得到联合概率密度分布
， 然后求出条件概率分布
举例：利用生成模型是根据山羊的特征首先学习出一个山羊的模型，然后根据绵羊的特征学习出一个绵羊的模型，然后从这只羊中提取特征，放到山羊模型中看概率多少，放到绵羊模型中看概率多少，哪个大就是哪个。
3. 判别模型 vs 生成模型
由生成模型能够得到判别模型，但由判别模型得不到生成模型
当存在“隐变量”时，只能使用生成模型
隐变量：当我们找不到引起某一现象的原因时，就把这个在起作用，但无法确定的因素，叫“隐变量”
-
判别方法的特点：
- 缺点：不能反映训练数据本身的特性。
- 优点：它寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。
- 优点：直接面对预测，往往学习的准确率更高。
- 优点：由于直接学习P(Y|X)或P(X)，可以对数据进行各种程度上的抽象、定义特征并使用特征，因此可以简化学习问题。
-
生成方法的特点：
- 优点： 可以从统计的角度表示数据的分布情况，能够反映同类数据本身的相似度**。但它不关心到底划分各类的那个分类边界在哪。
- 优点：生成方法的学习收敛速度更快，即当样本容量增加的时候，学到的模型可以更快的收敛于真实模型。
- 优点：当存在隐变量时，仍可以用生成方法学习。此时判别方法就不能用。
- 缺点：学习和计算过程比较复杂
QA
1. 生成模型和判别模型基本形式，有哪些？
- 生成模型： 朴素贝叶斯、HMM、混合高斯模型、马尔科夫随机场
- 判别模型： LR，SVM，神经网络，CRF，Boosting
