1.2.1基本分类

统计学习或机器学习一般包括监督学习、无监督学习、强化学习。有时包括半监督学习、主动学习

监督学习

监督学习的本质是学习输入到输出的映射的统计规律

本质是学习数据中的统计规律或潜在结构

是指智能系统在于环境的连续互动中学习最优行为策略的机器学习问题。假设智能系统与环境互动基于马尔科夫决策过程，智能系统能观测的是与环境互动得到的数据序列。
强化学习本质是学习最优的序贯决策。。

概率模型和非概率模型，概率模型取条件概率分布形式P(y|x)，非概率模型取函数形式y = f(x)

决策树、朴素贝叶斯、隐马尔科夫、条件随机场、概率潜在语义分析、潜在狄利克雷分配、高斯混合模型

感知机、支持向量机、k近邻、AdaBoost、k均值、潜在语义分析、神经网络

逻辑斯蒂回归即可看做概率模型，也可是非概率模型
条件分布P(y|x) 和函数y = f(x) 可以互相转化，条件分布最大化后得到函数，函数归一化后得到条件概率分布。

在线学习指每次接受一个样本进行预测，之后学习模型，并不断重复该操作的机器学习。

强化学习本身就拥有在线学习的特点。

批量学习一次接受所有数据，学习模型，之后进行预测。

在概率模型的学习和推理中，利用贝叶斯定理，计算在给定数据条件下模型的条件概率，即后验概率，并应用这个原理进行模型的估计，以及对数据的预测。

核方法实使用核函数标识和学习非线性模型的一种机器学习方法，可以用于监督学习和无监督学习。有一些线性模型的学习方法基于相似度计算，如向量内积计算。和方法可以把他们扩展到非线性模型的学习，使得应用范围更广泛。