1 损失函数 loss
均方误差 mse
交叉熵 ce Cross Entropy
softmax()
2学习率 learning_rate
指数衰减学习率
3 滑动平均 ema (影子值)
参数变化,影子缓慢追随
4 正则化 regularization
缓解过拟合
L1 绝对值求和
L2 平方的绝对值求和
激活函数 sigmoid relu
均方误差 mse
交叉熵 ce Cross Entropy
softmax()
指数衰减学习率
参数变化,影子缓慢追随
缓解过拟合
L1 绝对值求和
L2 平方的绝对值求和
激活函数 sigmoid relu