信息熵的定义
信息熵通常用符号 表示，其中
是一个随机变量。对于一个离散随机变量
，其可能的取值为
，对应的概率分别为
，信息熵的数学定义为：
其中，对数的底数可以根据实际需要选择，常用的底数是2（单位是比特，bit）、自然对数 （单位是奈特，nat）或10（单位是哈特，hart）。
信息熵的直观理解
- 不确定性越高，熵越大：如果一个随机事件的结果完全不可预测（比如一个完全公平的六面骰子），那么它的熵会很高，因为包含的信息量也很大。
- 确定性越高，熵越小：如果一个事件的结果几乎可以确定（比如一个100次中有99次会正面朝上的硬币），那么它的熵会很低，因为包含的信息量很少。
-
极端情况：
- 当
（某个事件一定会发生）时，熵为0，因为没有任何不确定性。
- 当所有事件的概率相等时（如公平的骰子），熵达到最大值。
- 当
信息熵的意义
- 衡量信息量：信息熵可以量化一个随机变量所包含的信息量。熵越高，说明变量包含的信息越丰富。
- 数据压缩：在数据压缩中，信息熵可以帮助我们确定数据的可压缩性。如果熵很高，说明数据中包含大量随机性，压缩难度较大。
- 通信理论：在通信系统中，信息熵用于衡量信道的容量和信息传输的效率。
- 机器学习：在决策树算法中，信息熵用于评估特征的分裂效果，帮助选择最优的特征进行数据划分。
一个简单的例子
假设有一个硬币，正面朝上的概率是 ，反面朝上的概率是
。那么这个硬币的信息熵为：
- 当
（公平硬币）时，熵达到最大值
比特。
- 当
或
（完全确定）时，熵为0。
信息熵是信息论的核心概念，它为我们理解和处理信息提供了一个数学工具，广泛应用于通信、数据处理、机器学习等领域。
