机器学习笔记 - 逻辑回归

主要解决分类和概率问题

假设公式

逻辑回归.png

或者叫Sigmoid Function

函数曲线

损失函数

损失函数.png

损失函数（同上等价）.png

转矩阵运算.png

梯度下降

求导.png

梯度下降公式.png

矩阵运算.png

过拟合

拟合.png

• 防止过拟合：

均适用线性回归和逻辑回归：
1、减少feature数
    1） example较少的情况下，减少feature个数
    2） 使用模型选择算法
2、正则化
    1）保留所有feature，减少Zeta
    2) Regularization works well when we have a lot of slightly useful features

• 梯度下降

Zeta 0 不需要处理

线性cost.png

线性梯度下降.png

逻辑cost.png

逻辑求导.png