机器学习02-从线性回归到逻辑斯蒂回归

之前一节，讲了线性回归的一些理解，其实传统的机器学习方法，和线性回归或多或少都有关系。

线性回归有三个特点，线性，全局性，数据未加工，我们依次来看这个问题。

（1）线性方面

a.属性线性，f(x) 和 x各个特征是线性关系，例如f(x) = w1 * x1 + w2 *x2, 当属性线性不满足的时候，就引入特征转换了，例如多项式回归模型。

b.全局线性，f(x)只是一个线性组合，然后就直接输出了结果，我们可以在线性方程后面加入一个非线性变换，即引入一个非线性的激活函数，就可以得到新的模型，典型的有线性分类模型如感知机，逻辑斯蒂回归等

c.系数线性，f关于w也是线性的，系数本身不可能是多次的，这个概念，指的是对于模型而言，不同系数初始值下，系数是会变化的，例如神经网络，感知机。

（2）全局性方面，最简单的线性回归，拟合出一条直线，在整个特征空间上都是统一的。可以在不同区域引入不同的线性或非线性关系，打破全局性，例如决策树模型，线性样条回归

（3）原始数据方面，直接拿来做回归，没有进行任何数据加工，例如维度高了可以进行PCA降维等。

其他的模型，其实就是在打破线性回归这些特点中的一个或多个，这就构建起了整个统计机器学习的架构。

今天我们主要讲线性分类，可以看到它是打破了线性回归中的全局线性特点。

线性分类可以分为两大类，(1)硬分类 (2)软分类。

简单来说，硬分类就是直接给出label是0还是1的，软分类给的是[0,1]的概率。

硬分类比如线性判别分析（fisher判别分析），感知机等。

软分类里可以继续分为生成式（例如朴素贝叶斯(离散变量)，高斯判别分析(连续变量)）和判别式（逻辑回归），生成式和判别式的区别在于，判别式是直接求概率的，而生成式是求联合概率的。现在看可能有点晕，等碰到生成式的时候可能更好理解。

今天我们首先讲逻辑斯蒂回归，虽然名字里是回归，但它是一个分类模型，是不满足全局线性下的回归演变而来。简单起见，我们先讨论二分类问题。

首先介绍一下激活函数 sigmoid函数 $f(x) = \frac{1}{1+exp(-x)}$

sigmoid函数

把激活函数和线性回归结合起来， $h_{\theta}(x) = f(\theta^Tx) = \frac{1}{1+exp(-\theta^Tx)}$

首先来理解一下为什么sigmoid可以用来分类， $h_{\theta}(x)$ 其实就是label为1的概率，当 $\theta^Tx$ 的取值为0 的时候，值是0.5，当 $\theta^Tx$ 越大，值越接近1，可以认为label是1 的概率越大。

$p(y=1) = h_\theta (x) = \frac{1}{1+exp(-\theta^Tx)}$ , $p(y=0) = 1 - p(y=1) = \frac{exp(-\theta^Tx)}{1+exp(-\theta^Tx)}$

回顾一下上一讲的内容，对于统计机器模型，定义了模型了之后，第二步就是定义损失函数了。

我们从最大似然角度出发， $p(y) = \prod_{i=1}^n h_\theta(x_i)^{y_i} (1-h_\theta(x_i))^{1-y_i}$

这个式子乍一看比较难理解，其实在yi=1的时候，只留下前一项了，当yi=0的时候，只剩下后一项了。

对数似然函数 $log(p(y)) = log(\prod_{i=1}^n h_\theta(x_i)^y_i * (1-h_\theta(x_i))^{1-y_i}) = \sum_{i=1}^n (y_ilogh_\theta(x_i) +(1-y_i)log(1-h_\theta(x_i)))$

然后我们可以定义我们的损失函数了，最大化对数似然函数，即最小化负的对数似然函数，

即 $J(\theta) = -\frac{1}{n} \sum_{i=-1}^n y_ilogh_\theta (x_i) + (1-y_i)log(1-h_\theta (x_i)$

上式其实是交叉熵，这个概念之后会细讲。这边主要理解损失函数的由来就可以了。第三步就是通过算法求解最优化问题了，即最小化损失函数，现在我们引出前一节没讲的梯度下降了。具体的梯度下降原理后续会新写一篇来介绍各种优化方法，简单理解，梯度是上升最快的方向，沿着负梯度方向前进可以使目标函数变小，但是步伐如果过大，忽略的二阶导项可能就不能忽略了。所以要定义一个学习率，避免步子太大。

我们首先讲一下sigmoid函数的导数， $f(x) = \frac{1}{1+e^{-x}}$

$f’(x) = -1(1+ e^{-x})^{-2}e^{-x}(-1) = (1+e^{-x})^{-2}e^{-x} = \frac{e^{-x}}{(1+e^{-x})^2}$

$=\frac{1+e^{-x}-1}{(1+e^{-x})^2} = \frac{1}{1+e^{-x}} - \frac{1}{(1+e^{-x})^2} = \frac{1}{1+e^{-x}}(1- \frac{1}{1+e^{-x}}) = f(x)(1-f(x))$

可以看出sigmoid的导数还是很漂亮的。

回到最小化损失函数上，我们对损失函数求梯度, 以参数 $\theta_j$ 为例

$\frac{\partial J(\theta)}{\partial\theta_j} = -\frac{1}{n}\sum_{i=1}^n(y_i \frac{1}{h_\theta(x_i)} - (1-y_i)\frac{1}{1-h_\theta(x_i)})\frac{\partial h_\theta(x_i)}{\partial \theta_j}$

$= -\frac{1}{n}\sum_{i=1}^n(y_i \frac{1}{h_\theta(x_i)} - (1-y_i)\frac{1}{1-h_\theta(x_i)})h_\theta (x_i)(1-h_\theta (x_i))x_i^j = -\frac{1}{n}\sum_{i=1}^n(y_i - h_\theta (x_i))x_i^j$

$= \frac{1}{n}\sum_{i=1}^n(h_\theta (x_i) - y_i)x_i^j$

参数 $\theta$ 的每一个维度都是一样的求法，然后我们定义一个学习率，沿着负梯度方向，就可以一步步收敛，求得模型的参数了。

LR模型暂时先讲到这里，以后想到什么新的会继续往上面添加。

转发请注明，谢谢。