逻辑回归

1.概念:逻辑回归假设数据服从伯努利分布,通过极大似然函数的方法,运用梯度下降来求解参数,来达到将数据二分类的目的。

2.逻辑回归的基本假设
假设一:假设数据服从伯努利分布
模型可描述为:



假设二:假设样本为正的概率是:



逻辑回归的最终形式:

3.逻辑回归的损失函数
逻辑回归的损失函数是它的极大似然函数:



4.逻辑回归的求解方法
由于极大似然哈桑无法直接求解,一边拿通过梯度下降来不断逼近最优解
(1)批量梯度下降
优点:获得全局最优解
缺点:更新每个参数都需要遍历所有的数据,计算量会很大,并且会有很多的冗余计算,导致的结果是当数据量大的时候,每个参数的更新都会很慢。
(2)随机梯度下降
优点:使得sgd会跳到新的和现在更好的局部最优解
缺点:使得收敛到局部最优解的过程更加的复杂
(3)小批量梯度下降(minbatch)
优点:结合了sgd和batch gd的优点,每次更新的时候使用n个样本,减少了参数更新的次数,可以达到更加稳定收敛效果,一般在深度学习中采用这种方法,在保证得到最优解的情况下更新速度也较快

5.逻辑回归的目的
将数据二分类,提高准确率

6.逻辑回归如何分类(Sigmod函数)
逻辑回归作为一个回归(也就是y值是连续的),如何应用到分类上去呢。y值确实是一个连续的变量。逻辑回归的做法是划定一个阈值,y值大于这个阈值的是一类,y值小于这个阈值的是另外一类。与之具体如何调整根据实际情况选择,一般会选0.5

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

友情链接更多精彩内容