交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。
交叉熵是信息论中的一个概念
1. 信息论
1.1. 信息量
- 两件事，发生概率越小的，信息量越大，比如下面的事件B
（1）事件A：巴西队进决赛了
（2）事件B：中国队进决赛了 -
信息量定义：概率越小，信息量越大
1.2 熵
-
对于某个事件，有n种可能性，每一种可能性都有一个概率p(xi)包含的信息量总和为：
-
熵就是所有信息量的期望值
-
0-1分布问题（二项分布的特例）的熵可以简化为
1.3 相对熵（KL散度）
- 衡量两个分布P(x)和Q(x)的差异，即如果用P来描述目标问题，而不是用Q来描述目标问题，得到的信息增量。
- 机器学习中，P是真实分布[0,1,0]，Q是模型预测输出[0.1,0.4,0.5]，直观的理解是P是完美描述，Q是估计描述，信息量不足，需要额外的信息增量才能逼近P，所以可以反复训练Q
-
KL散度公式：
1.4 交叉熵
-
相对熵可以变形得到 P的熵+交叉熵：
-
所以交叉熵是
- 机器学习中，可以用KL散度评估P和Q之间的距离，作为loss来优化下降，但是因为前一部分P的熵不变，所以loss只需要关注 交叉熵 就可以了。
2. 什么时候用交叉熵
- 线性回归问题：用MSE作为loss的
- 逻辑分类问题：用交叉熵
（1）单标签多分类：每一张图像样本只能有一个类别，比如只能是狗或只能是猫。[0,0,0,1,0]
（2）多标签二分类：每一张图像样本可以有多个类别，比如同时包含一只猫和一只狗。[0,1,0,0,1]
