从线性回归到逻辑回归

线性回归

线性回归之所以称为线性回归，是由于其目标是拟合一条直线来对样例进行分类。
线性回归试图学到 $w$ 和 $b$ ，预测值为 $y_i$ ：
$y_i = \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b$
线性回归一般通过最小二乘法找到参数，得到需要的“直线”。

逻辑回归

线性模型拟合的是直线，如果我们想要拟合其他形状的线呢？例如下图的曲线呢？下图的曲线是直线的衍生物，可以通过直线变化而来，也就是：
$\frac{1} {1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}$

image.png

现在我们得到的

$y_{i} = \left\{\begin{matrix} 1, \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b > 0\\ 0.5, \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b = 0\\ 0, \mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b < 0\\ \end{matrix}\right.$

我们定义 $y_{i}=1$ 为正例， $y_{i}=0$ 为负例（二分类情况）。现在我们采用最大似然估计来找到参数 $w$ 和 $b$ 。
最大似然估计的思想是“令每个样本属于其真实标记的概率越大越好”，因此，我们的loss function定义如下：

$l(\mathbf{w}) = P(y_{i}|x_{i},\mathbf{w},b)$

$= \prod_{i=1}^{n}P(y_{i}|x_{i},\mathbf{w},b)^{y_{i}}P(y_{i}|x_{i},\mathbf{w},b)^{1-y_{i}}$

$= \sum_{i=1}^{n}log(P(y_{i}|x_{i},\mathbf{w},b)^{y_{i}}P(y_{i}|x_{i},\mathbf{w},b)^{1-y_{i}})$

$= \sum_{i=1}^{n}y_{i}log\frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}+(1-y_{i})log(1- \frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}})$

最终的loss function为：

$l(\mathbf{w}) = argmin_{\mathbf({w},b)} - \sum_{i=1}^{n}y_{i}log\frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}+(1-y_{i})log(1- \frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}})$

$= \sum_{i=1}^{n}(1-y_{i})\mathbf{w^{\top }}\cdot \mathbf{x}_{i}+log(1+e^{-\mathbf{w^{\top }}\cdot \mathbf{x}_{i}})$

对 $w$ 求一阶导为：

$\frac{\partial l(w)}{\partial w} = \sum_{i=1}^{n}\mathbf{x}_{i}[\frac{1}{1+e^{-\mathbf{w}^{\top }\cdot\mathbf{x}_{i}+b}}-y_{i}]$

最后编辑于：2020.04.08 10:57:41

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

从线性回归到逻辑回归