信息与物质一样, 也是实在的, 它也有度量, 如同质量的是物质密度的度量. 信息也存在一种度量,叫信息熵
任何一条信息, 可以用任何你想得到的方式, 工具来表示, 但它有一个临界的度量值, 这是它本质固有的, 不跟你选择的工具或方法而异.
比如, 你要表示一个二元的信号量, 即只有开和关两个状态, 可以用下面的任一方式来表示:
- 用一盏灯来表示: 暗表示关, 亮表示开.
- 也可以用两盏灯来表示, 红的表示关, 绿的表示开.
- 甚至你可以用三盏灯来表示, 比如红红红表示关, 绿绿绿表示开.
- . ...
- . ...
可以想见, 你可以用任何你能想像的数量的灯来表示这个信息. 但是, 无论多少, 都只表示了两种状态. 这本质地暗含: 这个信息最少需要用１盏灯来表示, 或者说１个单位的信息熵.
那如果信息是个三元量, 有开, 关, 半开半关,
则显然, １盏灯(假定这灯非亮即灭)是无论如何也表示不了的. 容易证明, 至少需要２盏灯.
由此, 可以发现, 任何一条信息, 都存在一个临界的度量, 用少于这个度量的方式, 你势必无法完全地表示这个信息, 换句话说, 你会丢失信息.
所以, 你可以压缩信息, 就如同开始用１０盏灯来表示开和关两个状态, 压缩后变成只用１盏灯来表示, 但无法再继续减少灯的数量了. 对于压缩, 同理.
