逻辑回归

最简单的回归是线性回归，线性回归是求均值，所以所有点的敏感度都一样，因此，容易被比较远的点引导走偏。所以，线性回归鲁棒性较差，采用逻辑回归。

逻辑回归的优点：靠近分界线时比较敏感，离得远时敏感度较差，所以不容易走偏。


边界的形式如下表示

构造预测函数为

表示他们为1的概率


看这个公式，当θTx 为0时，hθ(x)为1/2，也就是边界的点，当靠近边界的时候，敏感度变大。
下面为怎么通过概率影响敏感度
对于输入x分类结果为类别1和类别0的概率分别为


也就是

取似然函数为：

对数似然函数为：


最大似然估计就是求使

取最大值时的θ，其实这里可以使用梯度上升法求解，求得的θ就是要求的最佳参数。但是，在Andrew Ng的课程中将
取为下式，即：

因为乘了一个负的系数-1/m，所以取
最小值时的θ为要求的最佳参数。

梯度下降法求的最小值
θ更新过程：


θ更新过程可以写成：

**

**

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容