- 损失函数简要介绍
- 0-1损失
- 绝对值损失
- log对数损失函数
- 平方损失函数
- 指数损失函数
- Hinge损失函数
损失函数
- 用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。不同的算法使用的损失函数不一样。
- 损失函数分为经验风险损失函数和结构风险损失函数。
- 经验风险损失函数指预测结果和实际结果的差别。
-
结构风险损失函数是指经验风险损失函数加上正则项。通常表示为如下：
image.png
0-1损失函数
-
0-1损失是指，预测值和目标值不相等为1，否则为0
image.png -
感知机就是用的这种损失函数。但是由于相等这个条件太过严格，因此我们可以放宽条件，即满足 |Y−f(X)|<T 时认为相等。
image.png
绝对值损失函数
image.png
log对数损失函数
-
log损失函数的标准形式
image.png - 逻辑斯特回归的损失函数就是对数损失函数
平方损失函数
指数损失函数
-
指数损失函数的标准形式：
image.png - AdaBoost就是一指数损失函数为损失函数。
Hinge损失函数
-
Hinge函数的标准形式：
image.png - y是预测值，在-1到+1之间，t为目标值（-1或+1）。
其含义为，y的值在-1和+1之间就可以了，并不鼓励|y|>1，即并不鼓励分类器过度自信，让某个正确分类的样本的距离分割线超过1并不会有任何奖励，从而使分类器可以更专注于整体的分类误差。
参考资料：
https://blog.csdn.net/weixin_37933986/article/details/68488339
