逻辑回归：假设数据服从伯努利分布的线性分类模型。
一、逻辑回归模型
逻辑回归模型可以看作是由线性回归模型变化而来，线性回归 - 简书
可以看做是对线性回归的结果进行了一次非线性收缩。
二、逻辑回归的目标函数
假设每个数据都独立地服从伯努利分布，似然函数为：
取负对数得到交叉熵误差函数（目标函数）
与线性回归 - 简书公式（3.13）的对⽐表明，它的函数形式与线性回归模型中的平⽅和误差函数的梯度的函数形式完全相同。
三、逻辑回归的优化
1、逻辑回归的优化通常采用梯度下降法
关于梯度下降法又分为批梯度下降、随机梯度下降和最小批梯度下降。其中随机梯度下降也就是所说的在线算法（顺序算法）。
2、其他优化算法
四、正则化
正则化同线性回归一样通常为L2或者L1正则化。线性回归 - 简书
五、多类逻辑回归
将逻辑回归的sigmoid换为softmax函数即变成多类逻辑回归。
