线性回归
线性回归之所以称为线性回归，是由于其目标是拟合一条直线来对样例进行分类。
线性回归试图学到和
，预测值为
：
线性回归一般通过最小二乘法找到参数，得到需要的“直线”。
逻辑回归
线性模型拟合的是直线，如果我们想要拟合其他形状的线呢？例如下图的曲线呢？下图的曲线是直线的衍生物，可以通过直线变化而来，也就是：
image.png
现在我们得到的
我们定义为正例，
为负例（二分类情况）。现在我们采用最大似然估计来找到参数
和
。
最大似然估计的思想是“令每个样本属于其真实标记的概率越大越好”，因此，我们的loss function定义如下：
最终的loss function为：
对求一阶导为：
