经典算法：逻辑回归（Logistic Regression）

一、模型介绍

Logistic Regression（逻辑回归）是机器学习中一个非常非常常见的模型，是一种用于解决二分类（0 or 1）问题的机器学习方法。Logistic Regressio 与 Linear Regression 都是一种广义线性模型。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。因此与线性回归有很多相同之处，去除 Sigmoid 映射函数的话，逻辑回归算法就是一个线性回归。

逻辑回归是以线性回归为理论支持的，但是逻辑回归通过 Sigmoid 函数引入了非线性因素，因此可以轻松处理 0/1 分类问题。本文主要介绍了 Logistic Regression（逻辑回归）模型的原理以及实践使用。

二、模型原理

1. 目标函数

线性回归公式：
$h = \theta_0 + \theta_1x_1 + \theta_2x_2 + \theta_3x_3 +…… +\theta_nx_n = \theta^Tx$
对于 Logistic Regression 来说，其思想也是基于线性回归（Logistic Regression 属于广义线性回归模型），公式如下：
$h_\theta(x) = \frac{1}{1+e^{-z}} = \frac{1}{1+e^{-\theta^Tx}}$
其中 $y = \frac{1}{1+e^{-x}}$ 称作 sigmoid 函数，从上式中可以看到 Logistic Regression 算法式将线性函数的结果映射到了 sigmoid 函数中。
sigmoid 函数图形如下：

image.png

可以看到，sigmoid 的函数输出是介于 (0,1) 之间的。所以上式中的

h_\theta(x)

的输出是数据属于某一类的概率。我们可以将 sigmoid 函数看成样本数据的概率密度函数。
我们接下来需要做的就是怎么样去估计参数

\theta

？

h_\theta(x)

表示的是结果取1的概率，因此有：

$P(y=1|x;\theta) = h_\theta(x)$ $P(y=0|x;\theta) = 1 - h_\theta(x)$
根据上式，我们可以使用概率论中极大似然估计的方法求解：
$P(y|x;\theta) = (h_\theta(x))^y * (1-h_\theta(x))^{1-y}$
因为样本数据每个独立，所以它们的联合分布可以表示为各边际分布的乘积。
取似然函数为 ： $L(\theta) = \prod_{i=1}^{m}P(y^{(i)}|x^{(i)};\theta)$ $L(\theta) = \prod_{i=1}^{m}(h_\theta(x^{(i)}))^{y^{(i)}} * (1- h_\theta(x^{(i)}))^{1-y^{(i)}}$
取对数似然函数为： $l(\theta) = log(L(\theta)) = \sum_{i=1}^{m}log((h_\theta(x^{(i)}))^{y^{(i)}}) +log( (1- h_\theta(x^{(i)}))^{1-y^{(i)}})$
$l(\theta) = log(L(\theta)) = \sum_{i=1}^{m}y^{(i)}log(h_\theta(x^{(i)})) +1-y^{(i)}log(1- h_\theta(x^{(i)}))$
至此，我们的目标函数已经确定为 $l(\theta)$ ，最大似然估计就是要求使 $l(\theta)$ 取最大值时的 $\theta$ 。

2. 损失函数（代价函数）

令： $J(\theta) = -\frac{1}{m}l(\theta)$ 这里的 $J(\theta)$ 就是我们的损失函数。其实可以发现，在 Logistic Regression 中我们最大化似然函数和最小化损失函数实际上是等价的。关于 Logistic Regression 的损失函数求解，接下来介绍梯度下降和牛顿法两种方法。
优化的主要目标是找到一个方向，参数朝这个方向移动之后使得损失函数的值能够减小，这个方向往往由一阶偏导或者二阶偏导各种组合求得。
$J(\theta) = -\frac{1}{m}(\sum_{i=1}^{m}y^{(i)}log(h_\theta(x^{(i)})) +1-y^{(i)}log(1- h_\theta(x^{(i)})))$

随机梯度下降
梯度下降是通过 $J(\theta)$ 对 $\theta$ 的一阶导数来找下降方向，并且以迭代的方式来更新参数，更新方式：
$g_j = \frac{\partial J(\theta)}{\partial \theta_j} = \frac{1}{m}\sum_{i=1}^{m}(h(x^{(i)}) - y^{(i)})*x_j^{(i)}$ $\theta_j^{k+1} = \theta_j^{k} - \alpha*g_j$ 其中 k 为迭代次数。每次更新参数后，通过比较 $||J(\theta^{k+1}) - J(\theta^{k})||$ 小于阈值或者到达最大迭代次数来停止迭代。
牛顿法
牛顿法的基本思路是，在现有极小点估计值的附近对 $f(x)$ 做二阶展开，进而找到极小点的下一个估计值。假设 $\theta^k$ 为当前的极小值估值，则有：
$\varphi(\theta) = J(\theta^k) + J'(\theta^k)(\theta-\theta^k) + \frac{1}{2}J''(\theta^k)(\theta-\theta^k)^2$ 令 $\varphi'(\theta) = 0$ , 得到 $\theta^{k+1} = \theta^k - \frac{J'(\theta^k)}{J''(\theta^k)}$ 。因此有迭代更新式： $\theta^{k+1} = \theta^k - \frac{J'(\theta^k)}{J''(\theta^k)}$
注意，牛顿法是需要目标函数是二阶连续可微的。

三、模型细节

1. 为什么适合离散特征？

我们在使用 Logistic Regression 的时候很少会把数据直接丢给 LR 进行训练，我们一般都会对特征进行离散化处理，这种做的好处是：

离散后稀疏向量内积乘法运算速度更快，计算结果也方便存储，容易扩展。
离散后的特征对异常值更具鲁棒性，如 age>30 为 1 否则为 0，对于年龄为 100 的也不会对模型造成很大的干扰。
LR 属于广义线性模型，表达能力有限，经过离散化后，每个变量有单独的权重，这相当于引入了非线性，能够提升模型的表达能力，加大拟合。

总结，特征离散化以后起到了加快计算，简化模型和增加泛化能力的作用。

2. 为什么不用平方误差？

假设目标函数是 MSE，即：
$L = \frac{(y-\hat{y})^2}{2}$ $\frac{\partial L}{\partial\theta} = (y-\hat{y})sigmoid(\theta,x)(1-sigmoid(\theta,x))*x$
根据 $\theta$ 的初始化，导数值可能很小而导致收敛变慢，而训练过程中也可能因为该值过小而导致提前终止训练。
反过来看交叉熵的梯度： $g_i = \frac{\partial J(\theta)}{\partial \theta_i} = (h(x_i) - y_i)*x_i$
当模型输出概率偏离于真实概率时，梯度较大，会加快训练速度，当模型输出概率接近于真实概率时，梯度较小，训练速度会变慢，不会出现 MSE 的问题。

3. 为什么使用 sigmoid 激活函数？

假设预测值 y 服从伯努利分布。
利用广义线性模型的假设, 符合逻辑回归模型。

详情可参考：https://blog.csdn.net/u011467621/article/details/48197943

四、模型优缺点

1. 适用场景

用于分类：适合做很多分类算法的基础组件。
用于预测：预测事件发生的概率（输出）。
用于分析：单一因素对某一个事件发生的影响因素分析（特征参数值）。
基本假设：输出类别服从伯努利二项分布。
样本线性可分。
不必在意特征间相关性的情景。

2. 优点

实现简单，广泛的应用于工业问题上。
分类时计算量非常小，速度很快，存储资源低。
便利的观测样本概率分数。

3. 缺点

当特征空间很大时，逻辑回归的性能不是很好。
容易欠拟合，一般准确度不太高。
依赖所有数据，很难处理数据不平衡问题；
处理非线性数据较麻烦。在不引入其他方法的情况下，只能处理线性可分的数据。

五、模型使用

sklearn 中的 Logistic Regression:

from sklearn.linear_model import LogisticRegression
lr = LogisticRegression(max_iter=1000)

LR 在 sklearn 中的使用比较简单，参数较少，这里不再赘述。