logistic 回归

基本理论

logistic回归的总体思路：线性回归→(激活函数)→线性分类

激活函数即sigmoid函数，即

logistic回归模型表达式：

其中

w^T=[w_{1},w_{1},...,w_{n}, ]

，

n

为特征的个分量（维度）

logistic回归模型只做二分类时，可以看出：

将 $p(y=1|x)和p(y=0|x)$ 写在同一个式子，为：

通常用最大似然估计法，对logistic模型中的参数进行估计，假设有N个已知标签的样本 $[(x_{1} ,y_{1}),(x_{2} ,y_{2}),...,(x_{N} ,y_{N})]$ 即：

可以看出其实对参数

w

进行最大似然估计等价于对交叉熵做最小化

扩展

现在再聊聊聊为什么logistic回归明明是分类模型但是却叫回归：

1.正如开头所说的logistic回归用回归的思路解决分类问题

2. $log\frac{p_{1} }{p_{0}} =w^T x$ ，从这个角度看其实logistic回归是广义的线性模型

3.logistic回归最早是统计学家David Cox在1958年的《二元序列的回归分析》中提出，当时的回归概念和现在有点差异，“回归”这个名字一直沿用至今

将logistic回归应用至多分类：

将logistic回归应用至多分类常用的方法是多项逻辑回归(Softmax Regrsesion)

Softmax回归是logistic回归的一般化，适用于K分类的问题，第K类的参数为向量 $\theta _k$ ,组成的二维矩阵 $\theta _{k*n}$ , n为特征的n个分量（维度）

Softmax回归概率函数为:

从这个形式，可以从感性的认识看出：Softmax回归和logistic回归都是分母是各个类别的和，而分子是特定类别的大小。也就是说Softmax回归是logistic回归的一般化。

证明当类别数K=2时，Softmax回归就是logistic回归

当K=2时，有：

利用参数冗余的特点，将所有参数都减去 $\theta _1$ ，则上式改写为：

其中 $\theta =\theta _2-\theta _1$

最后编辑于：2020.08.12 19:10:26

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。