总结下机器学习中的各种熵

自信息

对事件不确定性的度量
$I(p_i) = -log(p_i)$

熵

熵表示随机变量不确定性的度量。
设 $X$ 是一个取有限个值的离散随机变量，其概率分布为
$\begin{align} P ( X = x_{i} ) = p_{i}, \quad i =1, 2, \cdots, n \end{align}$
则随机变量 $X$ 的熵
$\begin{align} H ( X ) = H ( p ) = - \sum_{i=1}^{n} p_{i} \log p_{i} \end{align}$
其中，若 $p_{i}=0$ ，则定义 $0 \log 0 = 0$ 若 $\begin{align} p_{i} = \dfrac{1}{n} \end{align}$ 则
$\begin{align} H ( p ) &= - \sum_{i=1}^{n} p_{i} \log p_{i} \\\ & = - \sum_{i=1}^{n} \dfrac{1}{n} \log \dfrac{1}{n} \\\ & = \log n\end{align}$
由定义，得 $0 \leq H ( p ) \leq \log n$

联合熵

描述一对随机变量平均所需要的信息量
$H(X,Y) = \sum_x\sum_yP(x,y)log_2[p(x,y)]$
联合熵的性质

条件熵

条件熵 $H ( Y | X )$ 表示在已知随机变量 $X$ 的条件下随机变量 $Y$ 的不确定性。
随机变量 $X$ 给定的条件下随机变量 $Y$ 的条件熵定义为给定条件下 $Y$ 的条件概率分布的熵对 $X$ 的数学期望。
$\begin{align} H ( Y | X ) &= \sum_{x\in X} p(x) H ( Y | X = x ) 　\\\ & = \sum_{x\in X} p(x) \sum_{y\in Y} p(y|x)logp(y|x) \\\ & = \sum_{x\in X}\sum_{y\in Y} p(x,y)logp(y|x) \end{align}$
从公式的推断过程，可以得到条件熵的一个性质：
$H(Y|X) = H(X,Y)-H(X)$

其中，当熵和条件熵由数据估计（极大似然估计）得到时，对应的熵和条件熵分别称为经验熵和经验条件熵。

信息增益（互信息）

信息增益 $g ( X , Y )$ 表示已知特征 $X$ 的信息而使得类 $Y$ 的信息的不确定性减少的程度。
特征 $Y$ 对训练集 $X$ 的信息增益
$g ( X, Y ) = H ( X ) - H ( X | Y )$
即，集合 $X$ 的经验熵 $H (X)$ 与特征 $Y$ 给定条件下 $Y$ 的经验条件熵 $H ( X | Y )$ 之差。

熵、联合熵、条件熵、互信息的关系

下面的图解释了熵、联合熵、条件熵、互信息的关系
[图片上传失败...(image-e719cf-1550004845982)]
可以得到互信息的一个性质
$I(X;Y) = H(X) + H(Y) - H(X,Y)$
$I(X;Y) = H(X) - H(X|Y)$
$I(X;Y) = H(Y) - H(Y|X)$

交叉熵

衡量两个概率的符文p和q对事件X的相似性
$H(p,q) = -\sum_x p(x)log q(x)$
交叉熵衡量两个概率分布p和q对事件X的相似性，按理来说，两分布越相似，交叉熵越大

实际上，有一个性质： $H(p, q) >= H(p)$ , 当q为真实分布p时取等号。这是因为用错误的分布q得到的平均编码长度H(p,q)大于根据真实分布p得到的平均编码长度H(p)（直观理解）。

交叉熵衡量两个概率分布p和q对事件X的相似性，按理来说，两分布越相似，交换熵越大。但这里的“相似性”是指如果两分布相同，H(p, q) = H(p)，取最小值；而两分布不相似，H(p, q) > H(p)，取值比 H(p) 大。所以，是反过来的，即两分布越相似，交换熵越小。
由于交叉熵衡量两个概率分布p和q的相似性，因此常常用于神经网络的损失函数。
交叉熵作为损失函数还有一个好处是使用sigmoid函数在梯度下降时能避免均方误差损失函数（MSE）学习速率降低的问题，因为使用MSE代价函数时在sigmoid输出饱和时学习速率(梯度)与sigmoid导数正相关，这时sigmoid导数趋于0，即很小，而使用交叉熵代价函数时学习速率与误差正相关，误差越大，学习速率越大，但与sigmoid导数无关，只被输出误差所控制。

另外在分类问题上；
以二分类举例为例，设置概率： $q_(y=1) =\hat{y}，q_(y=0) = 1- \hat{y}$
$H(p,q) = -\sum_i p_i log(q_i) = -ylog(\hat{y})-(1-y)log(1-\hat{y})$

相对熵(KL散度)

$KL(p||q) = -\sum_x p(x)log \frac{q(x)}{p(x)}$
熵、交叉熵、相对熵性质
$\begin{align} H(p,q) &= -\sum_x p(x)log q(x) \\\ &= -\sum_x p(x)log p(x) -\sum_x p(x)log \frac{q(x)}{p(x)} \\\ &= H(p) + KL(p||q) \end{align}$
也就是交叉熵=熵+相对熵
相对熵（KL散度）性质：

由于KL散度衡量两个概率分布p和q对事件X的不相似性，因此两分布越不相似，KL散度值越大。
如果两分布相同，则KL散度值为0。KL散度非负且非对称。
KL散度可应用于生成式对抗网络GAN（衡量两个分布）。

信息论概念汇总

信息论概念汇总

自信息

熵

联合熵

条件熵

信息增益（互信息）

熵、联合熵、条件熵、互信息的关系

交叉熵

相对熵(KL散度)

相关阅读更多精彩内容

友情链接更多精彩内容