逻辑回归(二)之原理

本文详细介绍逻辑回归的推导过程,可自行推倒一遍。

逻辑函数(logistic function)

逻辑回归(Logistic Regression)是用于处理因变量为分类变量的回归问题,常见的是二分类或二项分布问题,也可以处理多分类问题,它实际上是属于一种分类方法。
为了更好地解释逻辑回归,首先了解一下逻辑函数。逻辑函数由于它的S形,有时也被称为sigmoid函数。
二分类问题的概率与自变量之间的关系图形往往是一个S型曲线,如图所示,采用的Sigmoid函数实现。


sigmoid
  • Logistic/sigmoid函数


    sigmoid

    对sigmoid函数进行求导


    sigmoid求导

    假定二分类概率公式为:
    二分类概率公式

    将两者合而为一



    最大似然函数为:
    似然函数
    其等价于(原因为对数定理):
    似然函数

    对数似然函数对θ求导,得出极小值
    似然函数求导

    每个极小值就是θ的取值,那么逻辑回归参数公式就是:
    参数公式

    OVER!!!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。