![]()
image.png
image.png
一、损失函数是什么，有什么用？
损失函数，英文Loss Function 或者 Cost Function，个人理解，他是模型和算法之间的桥梁，把一个监督学习问题转化成最优化问题的桥梁。
当我们使用一个模型去“模仿”或者“探索”一个对象的时候，损失函数就是一种描述模型和模仿对象之间偏差的标准，建立这个标准后，我们要做的事情就是要尽量缩小这种偏差，使得模型具备“替换”对象的能力。
- 流程：了解对象---选择模型---监督学习问题---经验风险or结构风险（涉及到损失函数）---风险最小化---最优化问题---得到模型参数
李航老师三部曲：模型（model）--策略（strategy）--算法（algorithm）
再附上李航老师《统计学习方法》的说明：
image.png
image.png
image.png
image.png
二、有哪些损失函数？
image.png
image.png
三、怎么选择损失函数？
参考《TensorFlow 实战Google深度学习框架》第四章“经典损失函数”，主要分为多分类问题和回归问题：
- 多分类问题：如何判断一个输出向量和期望的向量有多接近？交叉熵（cross entropy），刻画了通过概率分布q来表达概率分布p的困难程度。为什么要用cross entropy，而不用mean squared。
image.png
# mean squared
loss = tf.reduce_mean(tf.square(y_true - y_prediction))
# cross entropy
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels = y_true, logits = y_prediction))
详细记录下cross entropy，再细分四种：
- softmax_cross_entropy_with_logits
只适合单目标的二分类或者多分类问题 - sparse_softmax_cross_entropy_with_logits
softmax_cross_entropy_with_logits的易用版本，label值都是从0编码的整数
- sigmoid_cross_entropy_with_logits
多目标，例如判断图片中是否包含10种动物，label值可以包含多个1或0个1 - weighted_sigmoid_cross_entropy_with_logits
sigmoid_cross_entropy_with_logits的拓展版，多支持一个pos_weight参数，目的是可以增加或者减小正样本在算Cross Entropy时的Loss
-
回归问题：最常用的损失函数是均方差（MES, Mean square error）
image.png
- 自定义损失函数 tf.greater（待再次想想）
三、正则化项（regularization）L1和L2
正则化，统计学领域的人喊她惩罚项，数学界会喊她范数。整体来说本质不变，源于数学。
第一点李航老师的《统计学习方法》已经明确“为什么需要”正则化（regularization）了。简单点说就是为了防止过拟合，把描述模型复杂度的正则化项加入到经验风险最小化，得到结构风险最小化的策略。
问：正则化项的是如何描述模型的复杂度呢？
答：通过对权重参数w求绝对值之和或平方和，
问：不禁又问，w变大怎么影响模型的复杂度呢？
答：因为若权重参数w很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，专业一点的说法是『抗扰动能力强』
-
L1正则化（L1范数）：权值向量w中各个元素的绝对值之和
image.png
image.png
-
L2正则化（L2范数）：权值向量w中各个元素的平方和
image.png
image.png
问：L1比L2更容易让参数变得稀疏？why？
答：L1有更多突出的角，而这些角上很多权值w取值为0，另外角更突出，所以更加容易与经验风险最小化部分产生交叉求得解。
四、code
# loss = tf.reduce_mean(tf.square(y - y_pred))
# 结构风险=经验风险+正则化，经验风险使用交叉熵，正则化使用L2。
loss = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels = y, logits = finalOutput))\
# + tf.contrib.layers.l2_regularizer(0.05)(W1) + tf.contrib.layers.l2_regularizer(0.05)(W2) + tf.contrib.layers.l2_regularizer(0.05)(W3)
五、TensorFlow直接支持的cross entropy
image.png
