之前的文章中在介绍信息这个概念的时候，提到了Shannon在定义信息的时候，引入了信息熵的概念，还给出了信息熵的公式：
由于信息的本质是描述事件的确定性，信息的消除具有不可逆性，这符合热力学第二定律中熵这的这个模型，Shannon借用了热力学中熵的概念(系统无序程度的度量)，引入了信息熵的概念，从而实现了信息的定量描述。
说白了，信息熵描述的是事件的不确定性。
举个栗子，关于明天会不会下雨这个事件，在我们没有看天气预报的情况下，对于明天会不会下雨这个事件有两种结果，“会”或者“不会”,是不确定的。
假设看了天气预告，我们知道天气预告一般不会明确告诉你明天会不会下雨，它会告诉你一个下雨的概率，假设天气预告给出的信息：
下雨：，不下雨：
那么，我们如何量化这条天气预告包含多少信息量呢？
通过信息熵公式就可以算出来：
因为可性能空间只有“下雨”和“不下雨”两个，所以变异度为2，所以i=1,2。
使用bit(比特)为单位，所以log的底取2.
在以上前提下，套用信息熵公式：
已经忘记log函数怎么解了，直接用计算器按出结果：
换算为比较熟悉的单位就是：
(好吧，我是个数学苦手，写这些公式完全是为了理解信息熵这个概念，要是哪里理解或者计算有错，也感谢大佬指正。)
