李航. 统计学习方法[M]. 清华大学出版社, 2012.

第1编监督学习

第1章统计学习及监督学习概论

1.2 统计学习的分类

基本分类
- 监督学习、无监督学习、强化学习（智能系统在与环境的连续互动中学习最优行为策略）、半监督学习、主动学习：
按模型分
- 概率与非概率
- 线性与非线性
按算法分
- 在线学习：每次接受一个样本，进行预测，之后学习模型，并不断重复该操作
- 批量学习：一次接受所有数据，学习模型，之后进行预测
按技巧分
- 贝叶斯学习：在概率模型的学习和推理中，利用贝叶斯定理，计算在给定数据条件下模型的条件概率，即后验概率，并应用这个原理进行模型的估计，以及对数据的预测
- 核方法：使用核函数表示和学习非线性模型。把线性模型扩展到非线性模型。

在贝叶斯学习中，假设随机变量 $D$ 表示数据，随机变量 $\theta$ 表示模型参数。 $P(\theta|D)$ 是后验概率， $P(\theta)$ 是先验概率， $P(D|\theta)$ 是似然函数。根据贝叶斯定理，计算后验概率 $P(\theta|D)$ 的公式：

$P(\theta|D) = \dfrac{P(\theta)P(D|\theta)}{P(D)}$

模型评估时，估计整个后验概率分布 $P(\theta|D)$ 。如果需要给出一个模型，通常取后验概率最大的模型。预测时， $x$ 是新样本，计算数据对后验概率分布的期望值：

$P(x|D)=\int P(x|\theta,D) P(\theta|D) d\theta$

贝叶斯估计与极大似然估计的不同：

$\hat{\theta} = \arg \max_{\theta} P(D|\theta)$

贝叶斯估计： $\hat{P}(\theta|D) = \dfrac{P(\theta)P(D|\theta)}{P(D)}$

1.3 统计学习的分类

方法=模型+策略+算法

1.3.1 模型

模型：在监督学习中，模型就是所要学习的条件概率分布或决策函数。

模型的假设空间包括所有可能的条件概率分布或决策函数：

$\mathcal{F} = \{f|Y=f_{\theta}(X) , \theta\in\mathbb{R}^n\}$ 或 $\mathcal{F} = \{P|P_{\theta}(Y|X) , \theta\in\mathbb{R}^n\}$

1.3.2 策略

损失函数(loss function)或代价函数(cost function)

0-1损失函数(0-1 loss function)

$L(Y,f(X)) = \begin{cases}1, & Y \neq f(X) \\0, & Y = f(X)\end{cases}$

平方损失函数(quadratic loss function)

$L(Y,f(X)) = (Y-f(X))^2$

绝对损失函数(absolute loss function)

$L(Y,f(X)) = |Y-f(X)|$

对数损失函数(logarithmic loss fuction)

$L(Y,P(Y|X)) = -\log{P(Y|X)}$

模型的输入 $(X,Y)$ 是随机变量，遵循联合分布 $P(X,Y)$ ，损失函数的期望即期望损失****(expected loss)或风险函数(risk function)是

$\begin{aligned}{\color{red}R_{exp}} &= E_p[L(Y,f(X))] \\&= \int_{\mathcal{X}\times\mathcal{Y}} L(y,f(x)) P(x,y) dxdy\end{aligned}$

这是理论上模型 $f(X)$ 关于联合分布 $P(X,Y)$ 的平均意义下的损失。

由于联合分布 $P(X,Y)$ 是未知的， $R_{exp}(f)$ 不能直接计算。实际训练过程中，给定数据集 $T = \{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\}$ ，模型 $f(X)$ 关于训练数据集的平均损失称为经验风险****(empirical risk)或经验损失(empirical risk)，记作 $R_{emp}$ ：

${\color{red}R_{emp}} = \dfrac{1}{N} \sum_{i=1}^{N} L(y_i,f(x_i))$

期望风险是模型关于联合分布的期望损失，经验风险是模型关于训练样本集的平均损失。一个自然的想法是根据大数定律，用经验风险估计期望风险。但实际情况中，需要对经验风险进行矫正，常见的策略是经验风险最小化(empirical risk minimization, ERM)和结构风险最小化(structural risk minimization, SRM)。

经验风险最小化ERM：经验风险最小的模型就是最优的模型，即求解

$\min_{f\in \mathcal{F}} \dfrac{1}{N} \sum_{i=1}^{N} L(y_i,f(x_i))$

* 当模型是条件概率分布，损失函数是对数损失函数时，经验风险最小化即为极大似然估计(maximum likelihood estimation, MLE)

结构风险最小化SRM：等价于正则化(regularization)，在经验风险上加上表示模型复杂度的正则化项(regularizer)或罚项(penalty term)
- 在假设空间、损失函数以及训练数据集确定的情况下，令 $J(f)$ 为模型的复杂度，是定义在假设空间 $\mathcal{F}$ 上的泛函。结构风险****(structural risk)的定义是：

${\color{red}R_{srm}} = \dfrac{1}{N} \sum_{i=1}^{N} L(y_i,f(x_i)) + \lambda J(f)$

* 结构风险最小化的策略认为结构风险最小的模型是最优模型，即求解

$\min_{f\in \mathcal{F}} \dfrac{1}{N} \sum_{i=1}^{N} L(y_i,f(x_i)) + \lambda J(f)$

1.3.3 算法

算法：学习模型的具体计算方法。

统计学习问题归结为最优化问题，或有显式解，或需用数值计算来高效地求全局最优解。

统计学习方法笔记01

统计学习方法笔记01

第1编监督学习

第1章统计学习及监督学习概论

1.2 统计学习的分类

1.3 统计学习的分类

1.3.1 模型

1.3.2 策略

1.3.3 算法

相关阅读更多精彩内容

友情链接更多精彩内容

统计学习方法笔记01

第1编 监督学习

第1章 统计学习及监督学习概论

1.2 统计学习的分类

1.3 统计学习的分类

1.3.1 模型

1.3.2 策略

1.3.3 算法

相关阅读更多精彩内容

友情链接更多精彩内容

第1编监督学习

第1章统计学习及监督学习概论