logistic回归

假设有 $m$ 个样本为 $\{(x^{(1)}, y^{(1)}), (x^{(2)},y^{(2)}),...,(x^{(i)}, y^{(i)}),...,(x^{(m)},y^{(m)})\}$ ，其中 $x^{(i)}$ 为第 $i$ 个样本的特征， $y^{(i)}$ 为第 $i$ 个样本的标签。
logistic regression的hypothesis为：
$h_{\theta} (x^{(i)})=\frac{1}{1+{exp}^{- \theta^Tx^{(i)}}}$
从上式的logistic函数可知 $h_{\theta}(x^{(i)})$ 的取值在 $0\sim1$ 之间，对于二分类任务而言， $y^{(i)}\subset\{0,1 \}$ ，因此可以假设 $h_{\theta}(x^{(i)})$ 为 $y^{(i)}$ 取某个值时的概率分布，即：
$\begin{align} p(y^{(i)}=1|x^{(i)};\theta) &= h_{\theta}(x^{(i)})\\ p(y^{(i)}=0|x^{(i)};\theta) &= 1-h_{\theta}(x^{(i)}) \end{align}$
即：
$p(y^{(i)}|x^{(i)};\theta) = {h_{\theta} (x^{(i)})}^{y^{(i)}} {\bigl(1-h_{\theta}(x^{(i)})\bigr)}^{1-y^{(i)}}$
$m$ 个样本的似然函数为：
$L(\theta) = \prod_{i=1}^{m}p(y^{(i)}|x^{(i)}; \theta)$
对似然函数取对数可得：
$\begin{align} l(\theta) &= log\bigl(L(\theta)\bigr)= \sum_{i=1}^{m}log\bigl(p(y^{(i)}|x^{(i)}\theta)\bigr)\\ &= \sum_{i=1}^{m}log\biggl({h_{\theta}(x^{(i)})}^{y^{(i)}}{\bigl(1-h_{\theta}(x^{(i)})\bigr)}^{1-y^{(i)}}\biggr)\\ &= \sum_{i=1}^{m}y^{(i)}log\bigl(h_{\theta}(x^{(i)})\bigr) + \bigl(1-y^{(i)}\bigr)log\bigl(1-h_{\theta}(x^{(i)})\bigr) \end{align}$
最大化对数似然函数，求对数似然函数 $l(\theta)$ 对 $\theta$ 的导数，即求 $\frac{\partial{l(\theta)}}{\partial{\theta}}$ 。
对于一般的logistic函数 $g(z)=\frac{1} {1+{exp}^{-z}}$ 对其求导可得：
$g'(z) = g(z)\cdot\bigl(1-g(z)\bigr)$
因此：
$\begin{align} \frac{\partial{l(\theta)}} {\partial{\theta}} &= \sum_{i=1}^{m}y^{(i)}\frac{1}{h_{\theta}\bigl(x^{(i)}\bigr)}h_{\theta}\bigl(x^{(i)}\bigr)\biggl(1-h_{\theta}\bigl(x^{(i)}\bigr)\biggr){x^{(i)}}^T \\ &+ \sum_{i=1}^{m}\bigl(1-y^{(i)}\bigr)\frac{-1}{1-h_{\theta}(x^{(i)})}h_{\theta}\bigl(x^{(i)}\bigr)\biggl(1-h_{\theta}\bigl(x^{(i)}\bigr)\biggr){x^{(i)}}^T\\ &= \sum_{i=1}^{m} \biggl(y^{(i)}-h_{\theta}(x^{i})\biggr)\cdot{x^{(i)}}^T \end{align}$
对 $\theta$ 进行梯度更新，可得：
$\theta:=\theta+\alpha\cdot \sum_{i=1}^{m} \biggl(y^{(i)}-h_{\theta}(x^{i})\biggr)\cdot{{x^{(i)}}^T}$
注意：因为是最大化似然函数，所以使用梯度更新的时候是相加而非相减。 $\alpha$ 为学习率。对比一下最小二乘拟合，可以发现，两者的梯度更新非常相像，不同点在于logistic regression是要最大化似然函数，所以采用了梯度上升的策略，而最小二乘采用的是最小化均方误差损失函数，所以采用了梯度下降的策略进行梯度更新。

references:
http://cs229.stanford.edu/notes/cs229-notes1.pdf

logistic回归

推荐阅读更多精彩内容