Huber loss

损失函数是用来表现预测与实际数据的差距程度的函数

模型在使用MSE作为损失函数的时候,很有可能为了降低损失函数值而强行拟合奇异点数据,从而对预测结果造成影响;Huber Loss 是一个用于回归问题的带参的分段损失函数, 优点是能增强平方误差损失函数(MSE, mean square error)对离群点的鲁棒性。给定一个δ,当预测偏差小于 δ 时,它采用平方误差,当预测偏差大于 δ 时,将Loss减小,使用线性函数。这种方法能降低奇异数据点对于Loss计算的权重,避免模型过拟合相比于最小二乘的线性回归,HuberLoss降低了对离群点的惩罚程度,所以 HuberLoss 是一种常用的鲁棒的回归损失函数。

Huber Loss 定义如下

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 翻译 | 张建军 编辑 | 阿司匹林 出品 | AI科技大本营(微信搜索:rgznai100) 【AI科技大本营导...
    城市中迷途小书童阅读 1,066评论 0 3
  • -“你叫什么名字?” -“老单(dan),我全名是单文松,单(shan)就是单(dan)位的单(dan)” 很久没...
    好学长松哥阅读 1,167评论 6 2
  • 接触打篮球,是从我的高中开始的。记得每个午间休息,不管太阳是有多么厉害,也总会去打上一打。加上这次扭伤腰,因为打篮...
    爱看书的华华阅读 405评论 0 0
  • 过去的星星点点的事情,被意识的飞船喷射的光影所迷住 —在记忆中,歪曲的形体化为雾似的朦胧。 坐定在这青光下,溶于光...
    老树_阅读 1,546评论 21 131
  • 小a回忆起自己的第一次 那是在什么都不知道的情况下就结束了 幻想过无数次的美好就被硬生生击碎了 她不知道的还有 即...
    长命千岁阅读 203评论 0 0