最简单的回归是线性回归,线性回归是求均值,所以所有点的敏感度都一样,因此,容易被比较远的点引导走偏。所以,线性回归鲁棒性较差,采用逻辑回归。
逻辑回归的优点:靠近分界线时比较敏感,离得远时敏感度较差,所以不容易走偏。
边界的形式如下表示
构造预测函数为
表示他们为1的概率
看这个公式,当θTx 为0时,hθ(x)为1/2,也就是边界的点,当靠近边界的时候,敏感度变大。
下面为怎么通过概率影响敏感度
对于输入x分类结果为类别1和类别0的概率分别为
也就是
取似然函数为:
对数似然函数为:
因为乘了一个负的系数-1/m,所以取
梯度下降法求的最小值
θ更新过程:
θ更新过程可以写成:
****