香农信息公式：
1、单调性。概率越大，信息熵越小，概率越小，信息熵越大
2、非负性。信息熵大于0
3、可加性。几个事件的同时发生的信息熵等于单个事件发生的信息熵之和。
信息熵：对信息的量化度量。用来描述信息的不确定度。
信息熵公式解释：二进制下，对数底数是2，此时信息熵可以作为信息的度量，成为信息量，单位是比特。
以下来自百度百科：
通常，一个信源发送出什么符号是不确定的，衡量它可以根据其出现的概率来度量。概率大，出现机会多，不确定性小；反之就大。
不确定性函数f是概率P的单调递降函数；两个独立符号所产生的不确定性应等于各自不确定性之和，即f（P1，P2）=f（P1）+f（P2），这称为可加性。同时满足这两个条件的函数f是对数函数，即
在信源中，考虑的不是某一单个符号发生的不确定性，而是要考虑这个信源所有可能发生情况的平均不确定性。若信源符号有n种取值：U1…Ui…Un，对应概率为：P1…Pi…Pn，且各种符号的出现彼此独立。这时，信源的平均不确定性应当为单个符号不确定性-logPi的统计平均值（E），可称为信息熵，即
，式中对数一般取2为底，单位为比特。但是，也可以取其它对数底，采用其它相应的单位，它们间可用换底公式换算。
最简单的单符号信源仅取0和1两个元素，即二元信源，其概率为P和Q=1-P，该信源的熵即为如图1所示。
由图可见，离散信源的信息熵具有：①非负性，即收到一个信源符号所获得的信息量应为正值，H（U）≥0；②对称性，即对称于P=0．5（③确定性，H（1，0）=0，即P=0或P=1已是确定状态，所得信息量为零；④极值性，当P=0．5时，H（U）最大；而且H（U）是P的上凸函数。
对连续信源，香农给出了形式上类似于离散信源的连续熵，
图1 二元信源的熵
虽然连续熵HC（U）仍具有可加性，但不具有信息的非负性，已不同于离散信源。HC（U）不代表连续信源的信息量。连续信源取值无限，信息量是无限大，而HC（U）是一个有限的相对值，又称相对熵。但是，在取两熵的差值为互信息时，它仍具有非负性。这与力学中势能的定义相仿。
