如何量化，用数学语言去表述信息（information）这个概念？这似乎是一个很难的问题，因为信息所包含的概念太广了。人们从概率论角度出发，找到了Entropy，其性质和我们所理解的information具有很多相似之处。基于entropy，我们又找到了mutual information。MI用来评价一个随机变量与另一个随机变量的包含关系。如果将entropy理解为一个随机变量的self-information，那么MI可以理解为relative entropy，形象的说就是两个概率分布之间的距离。

    self-information  ------>  entropy

mutual information ------> relative entropy