链接:
1. 线性回归总结
2. 正则化
3. 逻辑回归
4. Boosting
5. Adaboost算法
线性回归是通过拟合来达到目的，而逻辑回归呢侧重的是探寻概率，它不去寻找拟合的超平面，而是去寻找某个数据的类别归属问题。
一. 预测函数
Sigmoid函数
怎么去预测？我们知道Sigmoid函数是如上这样的，它的表现是：将数据归纳在0-1之间，那么我们能不能通过去计算出的结果去拟合这样一个概率，使之成为一种分类的依据？答案是肯定的。凡事的概率都在0和1之间，拟合了概率，就是拟合了判定条件。
Paste_Image.png
二. 具体做法
我们知道线性回归是这样子的：
将Sigmoid函数加载到这个结果上，不就是将结果0-1概率化了么：
逻辑回归表达式
所以是这样子的：
回归对比
三. 损失函数
这样一来针对已有数据那就是0/1问题，要么概率为1的数据，要么概率为0的数据：
样本评判
对于我们来说概率可以简写合并成：
取其似然函数：
我们要做的是在最大似然估计就是求使 L(θ )取最大值时的θ
对数函数
这里可以自己做主，我选用下面作为损失函数，要是最大似然估计最大，就要使J(θ)函数最小，通过不断的优化θ使得J函数最小，进而L函数概率最大，完成任务。
损失函数
四. 求解过程
1. 梯度下降法：###
迭代函数
具体求解
2. 矩阵法：###
求解过程
最终公式
通过依次求解A，E, θ得到最终解。（A为线性回归的θ*X）
参考：
逻辑回归
逻辑回归模型(Logistic Regression, LR)基础 - 文赛平
机器学习—逻辑回归理论简介
