一、相关概念
自信息
当概率越小，消息
出现的概率就越小，一旦出现所获得的信息量就越大。
因此，我们定义，称
为消息
的自信息量。
自信息用来衡量单一事件发生时所包含的信息量。
信息熵
信息熵：随机变量所有可能取值的信息量的期望。
在信息论中，熵是信息不确定度的度量。不确定度越大，信息量越大，熵越大。
联合熵
联合熵是衡量随机变量、
之间的不确定性。
条件熵
条件熵：在已知随机变量的条件下，随机变量
的不确定性。
条件熵=联合熵-独立熵，即。
交叉熵
交叉熵是衡量真实分布与模拟分布
之间的近似程度。
相对熵/信息散度/KL散度(Kullback-Leibler divergence)
相对熵/信息散度/KL散度(Kullback-Leibler divergence)：衡量两个概率分布之间的距离(差异)。
相对熵=交叉熵-独立熵，即。
互信息
互信息：两个随机变量、
的联合分布与独立分布乘积的相对熵。
互信息是衡量两个随机变量之间的相关性。
二、互信息、联合熵、相对熵、熵之间的关系
：知道
后
还剩多少信息。
：知道
后给
带来了多少信息损失，
。
为方便记忆，可将联合熵当做熵的并集，互信息当做熵的交集。
