损失函数总结

1.损失函数：

$L_{0-1} (f,y)=1_{fy \leq 0}$

损失函数可以直观的刻画分类的错误率，但是因为其非凸，非光滑的特点，使得算法很难对其进行直接优化

2.Hinge损失函数(SVM)

$L_{hinge} (f,y)$ = max {0,1-fy}

Hinge损失函数是1损失函数的一个代理损失函数，也是其紧上界，当 $fy\geq 0$ 时，不对模型做惩罚。可以看到，hinge损失函数在 $fy=1$ 处不可导，因此不能用梯度下降法对其优化，只能用次梯度下降法。

3.Logistic损失函数

$L_{Logistic} (f,y)=log_{2} (1+exp(-fy))$

Logistic损失函数是1损失函数的另一个代理损失函数，它也是1损失函数的凸上界，且该函数处处光滑。但是该损失函数对所有样本点都惩罚，因此对异常值更加敏感。当预测值 $f\in [-1,1]$ 时，另一个常用的代理损失函数是交叉熵损失函数

4.Cross-Entropy损失函数

$L_{cross\ entropy} (f,y)=-log_{2} (\frac{1+fy}{2} )$

交叉熵损失函数也是1损失函数的光滑凸上界

5.Exponential损失函数(AdaBoost)

$L_{exponential}(f,y)=e^{-fy}$

指数损失函数是AdaBoost里使用的损失函数，同样地，它对异常点较为敏感，鲁棒性不够

6.Logistic损失函数(LR)

$L_{logloss}(y,p(y|x))=-log(p(y|x))$

逻辑回归 $p(y|x)$ 的表达式如下：