统计学习方法笔记06

李航. 统计学习方法[M]. 清华大学出版社, 2012.

第6章逻辑斯谛回归与最大熵模型

6.1 逻辑斯蒂回归模型

逻辑斯谛分布(logistic distribution)

设 $X$ 是连续变量， $X$ 服从逻辑斯谛分布是指 $X$ 具有如下分布函数和密度函数：

$F(x) = P(X\leq x) = \dfrac{1}{1+e^{-(x-\mu)/\gamma}}$

$f(x) = F'(x) = \dfrac{e^{-(x-\mu)/\gamma}}{\gamma(1+e^{-(x-\mu)/\gamma})^2}$

式中 $\mu$ 为位置参数， $\gamma>0$ 为形状参数，其值越小曲线在中心附近增长得越快。

[图片上传失败...(image-d50466-1621943256540)]

二项逻辑斯谛回归模型(binomial logistic regression model)

二项逻辑斯谛回归模型是如下的条件概率分布：

$P(Y=1|x)=\dfrac{\exp{(\omega\cdot x+b)}}{1+\exp{(\omega\cdot x+b)}}$

$P(Y=0|x)=\dfrac{1}{1+\exp{(\omega\cdot x+b)}}$

这里 $x\in \mathbb{R}^n$ 是输入， $Y\in \{0,1\}$ 是输出， $\omega\in \mathbb{R}^n$ 和 $b\in\mathbb{R}$ 是参数， $\omega$ 称为权值向量， $b$ 称为偏置。

一个事件的几率(odds)是指该事件发生的概率与该事件不发生的概率的比值。对于逻辑斯谛回归而言，其对数几率(log odds)或logit函数是

$\log{\dfrac{P(Y=1|x)}{1-P(Y=1|x)}} = \omega\cdot x +b$

参数估计（极大似然估计）

对于给定的训练数据集 $T=\{(x_1,y_1),(x_2,y_2),\dots,(x_N,y_N)\}$ ，设

$P(Y=1|x)=\pi(x)$ ， $P(Y=0|x)=1-\pi(x)$

似然函数为

$\prod_{i=1}^{N} [\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}$

对数似然函数为

$\begin{aligned}L(\omega) &= \sum_{i=1}^N \left[ y_i\log{\pi(x_i)} + (1-y_i)\log{(1-\pi(x_i))} \right] \\&= \sum_{i=1}^N \left[ y_i\log{\dfrac{\pi(x_i)}{1-\pi(x_i)}} + \log{(1-\pi(x_i))} \right] \\&= \sum_{i=1}^N \left[ y_i(\omega\cdot x_i+b) - \log{(1+\exp(\omega\cdot x_i+b))} \right]\end{aligned}$

对 $L(\omega)$ 求极大值，得到 $\omega$ 的估计值 $\hat{\omega}$ 。如此，问题就变成了以对数似然函数为目标函数的最优化问题。逻辑斯谛回归学习中通常采用的方法是梯度下降法和拟牛顿法。

多项逻辑斯谛回归(multi-nominal logistic regression model)

用于多分类模型。假设离散型随机变量 $Y$ 的取值集合是 $\{1,2,\dots,K\}$ ，那么多项逻辑斯谛回归模型是

$\left\{\begin{aligned}P(Y=k|x)&=\dfrac{\exp{(\omega_k \cdot x)}}{1+\sum_{k=1}^{K-1}\exp{(\omega_k\cdot x)}},k=1,2,\dots,K-1\\P(Y=K|x) &= \dfrac{1}{1+\sum_{k=1}^{K-1}\exp{(\omega_k\cdot x)}}\end{aligned}\right.$

这里， $x\in \mathbb{R}^{n+1}$ ， $\omega_k\in \mathbb{R}^{n+1}$ 。