1.信息位（bit）：香农将二进制数字的0或1作为信息的基本单位。
2.信息量与它的意义无关，只与信息的不寻常度(意外性)有关。
香农提出了一个表示信息的最小每秒比特数的公式，这个数字被他称为熵率h。这个数字量化了确定信息源将产生何种信息所涉及的不确定性。
熵率越低，不确定性越小，因此更容易将信息压缩成更短的内容。
3.香农公式给出了信道容量的极限。该公式描述最大数量比特每秒可以可靠地传达的噪音,他称之为系统的容量,c,这是最大的速率接收方可以解决信息的不确定性,有效地使其通信的速度限制。
当且仅当H < c时，噪声源信息的可靠通信是可能的。因此，信息就像水一样:如果流速小于管道的承载能力，那么水流就可以可靠地通过。
公式.png
