逻辑回归

逻辑回归本质:假设数据服从某一分布,通过极大似然法,运用梯度下降来求解参数,达到数据分类的目的。

#实质上是一个分类模型


Logistic分布:


其中有两个参数:位置参数和形状参数

Logistic 分布是由其位置和尺度参数定义的连续分布。Logistic分布的形状与正态分布的形状相似,但是 Logistic 分布的尾部更长,所以我们可以使用Logistic分布来建模比正态分布具有更长尾部和更高波峰的数据分布。在深度学习中常用到的Sigmoid函数是 Logistic 的分布函数在参数为0和1时候的特殊形式。


考虑二分类问题(假设线性可分)

给定数据集:D={(x1,y1),(x2,y2),(x3,y3),...}

考虑到wx+b取值连续,且取值为R,所以考虑对条件概率(p(Y=1|x))做拟合,并采用模型-对数几率函数:



重写公式有:


逻辑回归模型:输出Y=1的对数几率是由输入x的线性函数表示的模型


#将数据集中的数据分为Y=0和Y=1两类,而如何区别这两类数据,就需要用逻辑回归模型进行判定


损失函数:

实质上,最大化似然函数和最小化损失函数等价

平均似然损失:J(w)=[-lnL(w)]/n

L(w)是似然函数(取对数进行运算)



求解:

梯度下降(一阶导数、二阶泰勒展开等)

运用迭代的方式寻找估计值,不断接近,直到达到最大迭代次数或是误差小于阈值

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容