信息论基础（熵、相对熵、交叉熵、互信息）

熵（Shannon Entropy）

又称为“香农熵”或“信息熵”，是一个随机变量不确定性（信息量）的度量，也可理解为随机变量在信息系统中的编码长度。对于离散型随机变量 $X \sim p(x)$ ，其信息熵可定义为： $H(X)=-\sum_{x\in X}p(x)logp(x)$ 在熵正则化中，主要思想是利用信息熵衡量模型的Class Overlap（分类重合度）。熵越大，类别间重合度越大，模型分类的随机性越强，分类效果越差。因此，目标函数中引入信息熵作为一个正则项： $C(\theta,\lambda)=L(\theta)-\lambda H(y|x)$ 最大化目标函数，即熵最小化。

相对熵（Relative Entropy）

又称为“信息散度”或“KL散度”，是两个概率分布间差异的非对称性度量，即这两个分布间的“距离”，等价于两个概率分布的信息熵的差值。对于离散型随机变量 $X$ 的两个不同概率分布 $p(x)$ 和 $q(x)$ ， $p$ 对 $q$ 的相对熵可定义为： $D_{KL}(p||q)=\sum_{x\in X}p(x)log\frac{p(x)}{q(x)}=\sum_{x\in X}p(x)logp(x)-\sum_{x\in X}p(x)logq(x)$ 假设一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗。

交叉熵（Cross Entropy）

两个概率分布 $p$ 和 $q$ ，其中 $p$ 表示真实分布， $q$ 表示非真实分布，在相同的一组事件中，用非真实分布 $q$ 来表示某个事件发生所需要的平均比特数，即用分布 $q$ 表示目标分布 $p$ 的困难程度： $H(p,q)=-\sum_{x\in X}p(x)logq(x)$ 可以注意到， $D_{KL}(p||q)=H(p,q)-H(p)$ 当目标分布 $p$ 固定不变时， $H(p)$ 为常量，因此最小化交叉熵 $H(p,q)$ 等价于最小化这两个分布的相对熵 $D_{KL}(p||q)$ ，即让模型训练得到的分布尽可能地接近真实分布。

互信息(Mutual Information)

表示一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性（缩减的信息量）。对于两个随机变量 $X$ 和 $Y$ ，设 $X$ 的先验概率为 $p(x)$ ，后验概率为 $p(x|y)$ ，则定义 $X$ 的后验概率与先验概率比值的对数为 $Y$ 对 $X$ 的互信息量： $I(X;Y)=H(X)-H(X|Y)$ 最小化互信息，即最小化随机变量的不确定性。设这两个随机变量的联合分布为 $p(x,y)$ ，边缘分布为 $p(x)$ 和 $p(y)$ ，展开可得， $I(X;Y)=\sum_{x\in X}\sum_{y\in Y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}=D_{KL}(p(x,y)||p(x)p(y))$ 即互信息是联合分布与边缘分布的相对熵。