常见损失函数总结

损失函数对于机器学习算法来说是至关重要的一环，大部分机器学习算法都是通过梯度下降来进行学习的。下降的目标就是让损失函数达到最小值。

回归损失函数：

回归的损失函数比较少，常见的有MSE,MAE,RMSE,也比较好理解，就是预测值和真实值直接的差距最小。
MSE = \frac{1}{n} \sum_{i=1} ^{n} (\tilde{Y_i} - Y_i )^2
RMSE = \sqrt{\frac{1}{n} \sum_{i=1} ^{n} (\tilde{Y_i} - Y_i )^2}
MAE = \frac{1}{n} \sum_{i=1} ^{n} |\tilde{Y_i} - Y_i |

分类损失函数：

分类损失函数的种类比较多，常见的分类算法，logistic regression, SVM, adaboost

log损失函数（逻辑回归）：

对数损失函数的标准形式为：
L(Y,P(Y|X)) = -\log P(Y|X)
在二分类的情况下，可以简化为：
　L(\theta) = - \frac{1}{m} \sum_{i=1}^m \left [ y^{(i)} \log h_{\theta}(x^{(i)}) + (1-y^{(i)}) \log(1-h_{\theta}(x^{(i)})) \right ]

指数损失函数（adaboost）：

L(y,f(x)) = exp(-yf(x))

hinge损失函数（SVM)

L(y) = \max(0, 1-y\tilde{y}), y=\pm 1

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容