逻辑回归本质:假设数据服从某一分布,通过极大似然法,运用梯度下降来求解参数,达到数据分类的目的。
#实质上是一个分类模型
Logistic分布:

其中有两个参数:位置参数和形状参数
Logistic 分布是由其位置和尺度参数定义的连续分布。Logistic分布的形状与正态分布的形状相似,但是 Logistic 分布的尾部更长,所以我们可以使用Logistic分布来建模比正态分布具有更长尾部和更高波峰的数据分布。在深度学习中常用到的Sigmoid函数是 Logistic 的分布函数在参数为0和1时候的特殊形式。
考虑二分类问题(假设线性可分)
给定数据集:D={(x1,y1),(x2,y2),(x3,y3),...}
考虑到wx+b取值连续,且取值为R,所以考虑对条件概率(p(Y=1|x))做拟合,并采用模型-对数几率函数:

重写公式有:

逻辑回归模型:输出Y=1的对数几率是由输入x的线性函数表示的模型
#将数据集中的数据分为Y=0和Y=1两类,而如何区别这两类数据,就需要用逻辑回归模型进行判定
损失函数:
实质上,最大化似然函数和最小化损失函数等价
平均似然损失:J(w)=[-lnL(w)]/n
L(w)是似然函数(取对数进行运算)

求解:
梯度下降(一阶导数、二阶泰勒展开等)
运用迭代的方式寻找估计值,不断接近,直到达到最大迭代次数或是误差小于阈值