1. L1 Loss：
)%3D%5Cfrac%7B1%7D%7Bn%7D%20%5Csum_%7Bi%3D1%7D%5E%7Bn%7D%7Cf(x_i)-y_i%7C%20%5Ctag%7B1%7D)
令-y_i)
，忽略求和及系数，则有%3D%7Cx%7C)
，其导数为
随机梯度下降法更新权重为：
其中
是学习率。由此可知，不管预测值)
和真实值
的差值大小
如何变化，反向传播时其梯度不变。除非调整学习率大小，不然每次权重更新的幅度不变。
理想中的梯度变化应该是：训练初期值较大，则梯度也大，可以加快模型收敛；训练后期值较小，梯度也应小，使模型收敛到全局（或局部）极小值。
L1 Loss 优点：梯度值稳定，使得训练平稳；不易受离群点（脏数据）影响，所有数据一视同仁。
L1 Loss 缺点：
处不可导，可能影响收敛；值小时梯度大，很难收敛到极小值（除非在值小时调小学习率，以较小更新幅度）。
2. L2 Loss
)%3D%5Cfrac%7B1%7D%7Bn%7D%5Csum_%7Bi%3D1%7D%5E%7Bn%7D(f(x_i)-y_i)%5E2%20%5Ctag%7B4%7D)
令，忽略求和及系数，则有%3Dx%5E2)
，其导数为
可知，对于L2 Loss来说，预测值和真实值的差值越大，梯度越大；越小，则梯度值越小。
L2 Loss 优点：平滑可导；较大时梯度大，收敛快；较小时梯度小，容易收敛至极值点。
L2 Loss 缺点：训练初期较大导致梯度大，更新幅度太大使得训练不稳定，容易出现梯度爆炸现象；受离群点（脏数据）影响大，容易在离群点的干扰下大幅更新，使拟合函数偏向离群点而导致准确率低。
3. Smooth L1 Loss
%3D%20%5Cbegin%7Bcases%7D%200.5x%5E2%20%26%20if%20%5Cquad%20%7Cx%7C%3C1%5C%5C%20%7Cx%7C-0.5%20%26%20otherwise%20%5Cend%7Bcases%7D%20%5Ctag%7B6%7D)
从上式可知Smooth L1 Loss 是一个分段函数，它综合了 L1 Loss 和 L2 Loss 两个损失函数的优点，即在较小时采用平滑地 L2 Loss，在较大时采用稳定的 L1 Loss。
公式（6）衡量的较大和较小的分界线是
，当然也可以采用其它值来做这个临界点。设
作为衡量预测值和真实值的差值的阈值，则公式（6）变为更一般的形式：
%3D%20%5Cbegin%7Bcases%7D%200.5(%5Cdelta%20x)%5E2%20%26%20if%5Cquad%20%7Cx%7C%3C%5Cfrac%7B1%7D%7B%5Cdelta%5E2%7D%20%5C%5C%20%7Cx%7C-%5Cfrac%7B0.5%7D%7B%5Cdelta%5E2%7D%20%26%20otherwise%20%5Cend%7Bcases%7D)
