损失函数
对于回归问题， ，我们希望 ，最常用的损失函数是平方损失函数
顾名思义，均方误差（MSE）度量的是预测值和实际观测值间差的平方的均值。它只考虑误差的平均大小，不考虑其方向。但由于经过平方，与真实值偏离较多的预测值会比偏离较少的预测值受到更为严重的惩罚。再加上 MSE 的数学特性很好，这使得计算梯度变得更容易。
Hinge Loss/多分类 SVM 损失
在一定的安全间隔内（通常是 1），正确类别的分数应高于所有错误类别的分数之和。因此 hinge loss 常用于最大间隔分类（maximum-margin classification），最常用的是支持向量机。尽管不可微，但它是一个凸函数，因此可以轻而易举地使用机器学习领域中常用的凸优化器。
交叉熵损失/负对数似然：
这是分类问题中最常见的设置。随着预测概率偏离实际标签，交叉熵损失会逐渐增加。
数学公式
注意，当实际标签为 1(y(i)=1) 时，函数的后半部分消失，而当实际标签是为 0(y(i=0)) 时，函数的前半部分消失。简言之，我们只是把对真实值类别的实际预测概率的对数相乘。还有重要的一点是，交叉熵损失会重重惩罚那些置信度高但是错误的预测值。
有监督学习和无约束优化问题的优化方法分别有哪些
梯度下降
随机梯度下降
牛顿法
拟牛顿法
随机梯度下降为什么会失效
SGD：不能保证每次的方向是损失函数减小的方向，更不能保证是减小速度最快的方向，随机路径，不可预知。梯度改变方向是随机的，不能保证损失函数始终是减小的，损失函数的值是跳跃的。
（BGD：每次所有参数更新，得到最小值。）
Adam方法将惯性保持和环境感知这两个优点集于一身。一方面，Adam记录梯度的一阶矩（first moment），即过往梯度与当前梯度的平均，这体现了惯性保持；另一方面，Adam还记录梯度的二阶矩（second moment），即过往梯度平方与当前梯度平方的平均，这类似AdaGrad方法，体现了环境感知能力，为不同参数产生自适应的学习速率。一阶矩和二阶矩采用类似于滑动窗口内求平均的思想进融合，即当前梯度和近一段时间内梯度的平均值，时间久远的梯度对当前平均值的贡献呈指数衰减。具体来说，一阶矩和二阶矩采用指数衰退平均（exponential
decay average）技术，计算公式为
