上一篇讨论了线性回归和逻辑回归的模型结构，以及从线性回归到逻辑回归的推导过程，这一篇将进一步比较两者的损失函数的异同。

1.0 线性回归

1.1 平方和损失函数&一般最小二乘法

损失函数（loss function），也称成本函数（cost function），描述的是模型的预测值与真实值的差异，并将这种差异映射为非负实数以表示模型可能带来的“风险”或“损失”。机器学习中将损失函数作为模型拟合好坏的评判准则，并通过最小化损失函数求解和评估模型。

一般最小二乘法（Ordinary Least Squares, OLS），是目前通用的构建线性回归损失函数并求解参数的方法。OLS的思想非常直观，通过构建真实值 $y^{(i)}$ 与模型预测值 $\hat{y}^{(i)}$ 差值的平方和（构建思想同方差）来衡量模型预测的差距，并且平方还能够使得差值越大，“损失”越大，差值越小，损失“越小”，比起线性方法（如绝对值和）更能准确反应差值带来的“损失”大小。

对所有样本数据的“损失”求和就得到了线性回归模型的损失函数，即 $\sum_{i=1}^m(y^{(i)}-\hat{y}^{(i)})^2$ 。而使得损失函数最小的 $\hat{w}$ ，就认为是模型回归系数的最佳估计，即：

$\hat{w}=arg min_w\sum_{i=1}^m(y^{(i)}-\hat{y}^{(i)})^2 =arg min_b\sum_{i=1}^m(y^{(i)}-w^Tx^{(i)}-b)^2$

其中 $x^{(i)}=(x_1, x_2...x_n)^T$ 。

求解 $\hat{w}$ ，只需对损失函数进行求导，得导函数，令导函数为零，即可求得最佳估计 $\hat{w}$ ：

$\frac{D(f_{loss})}{D(w)}=\sum_{i=1}^m(y^{(i)}-w^Tx^{(i)}-b)x^{(i)}=\sum_{i=1}^m(y^{(i)}-\hat{y}^{(i)})x^{(i)}=0$

2.2 损失函数的概率理解 & 极大似然估计

对于线性回归 $y^{(i)}=\sum_{j=1}^nw_jx^{(i)}_j+b+\varepsilon^{(i)}=w^Tx^{(i)}+b+\varepsilon^{(i)}$ ， $\varepsilon$ 代表模型所有未能观测到的误差集合，其中也包含模型的偏差。根据大数定律，有 $\varepsilon$ ~ $N(0, \sigma ^2)$ ，于是有：

$p(\varepsilon^{(i)})=\frac{1}{\sqrt{2\pi}\sigma }e^{-\frac{(\varepsilon^{(i)})^2}{2\sigma ^2} }=\frac{1}{\sqrt{2\pi}\sigma }e^{-\frac{(y^{(i)}-(w^Tx^{(i)}+b))^2}{2\sigma ^2} }=p(y^{(i)}|x^{(i)};w)$

上式了表示了对特征 $x^{(i)}$ 用参数 $w$ 估计得到 $y ^{(i)}$ 的概率。

又由于 $y ^{(i)}$ 相互独立，进行联合乘积就得到所有输出结果的概率：

$P(Y|X;w)=\prod_{i=1}^mp(y^{(i)}|x^{(i)};w)=\prod_{i=1}^m \frac{1}{\sqrt{2\pi}\sigma }e^{-\frac{(y^{(i)}-(w^Tx^{(i)}+b))^2}{2\sigma ^2} }$

为了使模型的预测结果更接近真实值，就需要使预测概率最大。根据极大似然估计，求使上式最大值的参数 $\hat{w}$ 即可： $\hat{w}=arg max_wP(Y|X;w)$

对上式两边作对数，得：

$InP(Y|X;w)=In(\frac{1}{\sqrt{2\pi}\sigma })^m+In(e^{-\sum_{i=1}^m \frac{(y^{(i)}-(w^Tx^{(i)}+b))^2}{2\sigma ^2} })$

$=mIn(\frac{1}{\sqrt{2\pi}\sigma })-\frac{1}{2\sigma ^2}\sum_{i=1}^m(y^{(i)}-(w^Tx^{(i)}+b))^2$

上式中， $mIn(\frac{1}{\sqrt{2\pi}\sigma })$ 和 $\frac{1}{2\sigma ^2}$ 均为常数，为使 $InP(Y|X;w)$ 最大，只需求 $min\sum_{i=1}^m(y^{(i)}-(w^Tx^{(i)}+b))^2$ 即可，这刚好就是线性回归的平方和损失函数，而平方和损失函数就反映了预测值接近于真实值的概率。

2.0 逻辑回归

2.1 对数损失函数

线性回归损失函数通过真实值和预测值的差积，直接计算了模型的“损失”。但是逻辑回归中，样本的真实值只有两种{0, 1}，且预测值为0~1的概率值，使用差积会使得损失值缩小（概率差值是小于1的数，平方后会变小），对于差值损失的放大作用也非常不明显，因此采用对数化处理，作为损失的横量。

假设 $x^{(i)}$ 的类别 $y^{(i)}=1$ ，那么理想情况下真实概率值为 $P(y^{(i)}=1)=1.0$ ，即百分百分类正确，而逻辑回归的预测概率值为 $\hat{P}(y^{(i)}=1)=Sigmoid(z^{(i)})$ ，简化记为 $S(z^{(i)})$ 。那么 $P(y^{(i)}=1)$ 与 $\hat{P}(y^{(i)}=1)$ 之间的“损失”，直接作对数处理即可：

$loss^{(i)}=-InP(y^{(i)}=1)=-In(S(z^{(i)}))$

那么上式中“损失”的意义该怎么理解呢？通过下图对数函数的函数图像来说明一下，其中横轴为分类概率，纵轴为模型损失。那么对于一个类别为1的样本，真实的分类概率就应该为1.0。那么若预测概率也为1.0，那么此时的模型损失就为 $-log_2(1.0)=0$ ，即无损失。

现在有两个逻辑回归模型LR1和LR2，LR1对于该样本分类的预测概率为 $A$ ，LR2对于该样本分类的预测概率为 $B$ ，则 $|AO|$ 和 $|BO|$ 分别为两个模型的预测差异， $AB=-log_2(|AO|)$ ， $CD=-log_2(|CO|)$ 则为两个模型的损失。并且由图可知 $|AO|<|BO|$ 且 $AB<CD$ ，说明当LR1的预测概率比LR2的预测概率更接近真实概率（更准确）时，LR1的预测损失要小于LR2的损失。

对数函数与概率预测损失

从上图可以看出，对数函数的图形可以非常好的反应预测概率的损失，并且对于当预测概率趋近于0时，即预测错误偏离严重时，对数化的概率趋近于正无穷，使得模型损失非常大，这更符合建模的基本原则，因此对数损失可以较好的描述逻辑回归的模型损失。

上图是以样本真实类别为1时为例，那么当样本真实类别为0时，则预测损失可写为： $loss^{(i)}=-InP(y^{(i)}=0)=-In(1-S(z^{(i)}))$

由于样本的类别只有{0, 1}两种可能，因此可将两个损失函数合并为一，即为： $loss^{(i)}=-y^{(i)}InP(y^{(i)}=1)-(1-y^{(i)})InP(y^{(i)}=0)$

$=-y^{(i)}In(S(z^{(i)}))-(1-y^{(i)})In(1-S(z^{(i)}))$

再将所有样本数据的损失求和，就得到了逻辑函数的损失函数，如下。该损失函数被称为对数损失函数，但更多时候被称为交叉熵损失函数：

$f_{loss}=-\sum_{i=1}^m y^{(i)}In(S(z^{(i)}))+(1-y^{(i)})In(1-S(z^{(i)}))$

又由于 $z^{(i)}=w^Tx^{(i)}+b$ ，因此可采取线性回归的同样的参数求解方法得到 $\hat{w}$ 。

有意思的是，逻辑回归损失函数的导函数与线性回归的导函数形式非常类似（具体推导过程参见https://www.jianshu.com/p/de01516618df）：

$\frac{D(f_{loss})}{D(w)}=\sum_{i=1}^m(y^{(i)}-S (z ^{(i)}))x^{(i)}=\sum_{i=1}^m(P^{(i)}-\hat{P}^{(i)} )x^{(i)}=0$

2.2 损失函数的概率理解 & 极大似然估计

假设 $x^{(i)}$ 的类别 $y^{(i)}=1$ ，那么逻辑回归的预测概率为 $\hat{P}(y^{(i)}=1)=S(z^{(i)})$ ，若 $y^{(i)}=0$ ，则预测概率 $\hat{P}(y^{(i)}=0)=1-\hat{P}(y^{(i)}=1)=1-S(z^{(i)})$ 。这两种情况可以写成一个式子：