基本理论
logistic回归的总体思路：线性回归→(激活函数)→线性分类
激活函数即sigmoid函数，即
logistic回归模型表达式：
其中 ![w^T=[w_{1},w_{1},...,w_{n}, ]](https://math.jianshu.com/math?formula=w%5ET%3D%5Bw_%7B1%7D%2Cw_%7B1%7D%2C...%2Cw_%7Bn%7D%2C%20%5D%20)
，
为特征的个分量（维度）
logistic回归模型只做二分类时，可以看出：
将写在同一个式子，为：
通常用最大似然估计法，对logistic模型中的参数进行估计，假设有N个已知标签的样本即：
可以看出其实对参数
进行最大似然估计等价于对交叉熵做最小化
扩展
现在再聊聊聊为什么logistic回归明明是分类模型但是却叫回归：
1.正如开头所说的logistic回归用回归的思路解决分类问题
2.，从这个角度看其实logistic回归是广义的线性模型
3.logistic回归最早是统计学家David Cox在1958年的《二元序列的回归分析》中提出，当时的回归概念和现在有点差异，“回归”这个名字一直沿用至今
将logistic回归应用至多分类：
将logistic回归应用至多分类常用的方法是多项逻辑回归(Softmax Regrsesion)
Softmax回归是logistic回归的一般化，适用于K分类的问题，第K类的参数为向量,组成的二维矩阵
, n为特征的n个分量（维度）
Softmax回归概率函数为:
从这个形式，可以从感性的认识看出：Softmax回归和logistic回归都是分母是各个类别的和，而分子是特定类别的大小。也就是说Softmax回归是logistic回归的一般化。
证明当类别数K=2时，Softmax回归就是logistic回归
当K=2时，有：
利用参数冗余的特点，将所有参数都减去，则上式改写为：
其中
