Logistic 回归

最近看到了Logistic 回归，LR模型主要用于分类模型(不是回归)，细心的人不难发现LR模型在线性回归模型上加了一个sigmoid转换。

sigmoid转换的优势

  • 求梯度方便
  • 数据统一分布在0-1之间，从下面的LR分布也可以看出

算法

定义

P(y=1\mid x)=\dfrac{e^{wx+b}}{1+e^{wx+b}}
P(y=0\mid x)=\dfrac{1}{1+e^{wx+b}}

扩张一下w,x，令 wx+b->wx

P(y=1\mid x)=\dfrac{e^{wx}}{1+e^{wx}}
P(y=0\mid x)=\dfrac{1}{1+e^{wx}}

对数几率

p指发生概率

logit(p)=log \dfrac{p}{1-p}
p 代入 P(y=1\mid x)

logit(p)=log \dfrac{p}{1-p}=log \dfrac{P(y=1\mid x)}{1-P(y=1\mid x)}=wx

把P(y=1\mid x)领出来，

p=P(y=1\mid x)=\dfrac{e^{w x}}{1+e^{w x}}=\dfrac{1}{1+e^{-w x}}

极大似然估计

image

跟上边学到的貌似是一回事

小结

image

从图像中可以看出，逻辑回归函数将输入的(-\infty, \infty)空间映射到了(0,1)空间，即将值域限制在了(0,1)之内。 限制后的假设函数为：
p=P(y=1\mid x)=\dfrac{e^{w x}}{1+e^{w x}}=\dfrac{1}{1+e^{-w x}}

关于Logistic 回归 的使用场景和优化方向，供下回探讨。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容