逻辑回归代价函数及其梯度下降公式推导

逻辑回归是机器学习算法中常用的算法之一，其简单，容易理解，故被后人广泛使用。今天来总结下它的损失函数及其推导过程。

1.损失函数及其求解

线性回归模型的模型如下：

逻辑回归的模型定义（需要借助Sigmoid函数）：
将上述线性回归的模型带入到g(x)中，得到最终的逻辑回归的模型：
假定上个表达式是等于类 1 的概率，自然等于类 0 的概率等于1减去等于类 1 的概率，如下所述：
将上面两个式子整合为下面一个公式：
那么似然函数为
m表示样本个数，为了方便计算，取对数得
求上式的极大值，引入因子 -1/m，转化为求下式的极小值：
这就是逻辑回归的log损失函数，其中

那我们通过梯度下降更新 theta
其中Alpha是学习步长。
下面给出怎样推导上面的偏导数：

tip:上面的推导公式用到了sigmoid函数的导数公式，即：
，这个公式很重要哦，如果有时间可以自己推导一下。

至此，就结束喽~
喜欢就点个赞哦~

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。