信息论在AI中也扮演着重要的角色
- 意义：不确定性才是客观世界的本质属性。
- 克劳德·香农发表了著名论文《通信的数学理论》，给出了对信息这一定性概念的定量分析方法，标志着信息论作为一门学科的正式诞生。
- 信息熵：对单个信源的信息量和通信中传递信息的数量与效率等问题做出了解释，并在世界的不确定性和信息的可测量性之间搭建起一座桥梁。
- 熵的本质：一个系统内在的混乱程度。
- 自信息量的定义：
-
如果事件 A发生的概率为 p(A)，自信息量为：
-
如果事件 A发生的概率为 p(A)，自信息量为：
- 信源的信息熵：信源可能发出的各个符号的自信息量在信源构成的概率空间上的统计平均值。
-
如果一个离散信源 X 包含 n个符号，每个符号 ai的取值为 p(ai)，则 X 的信源熵为
- 当信源中的每个符号的取值概率相等时，信源熵取到最大值 log2n，意味着信源的随机程度最高。
-
如果一个离散信源 X 包含 n个符号，每个符号 ai的取值为 p(ai)，则 X 的信源熵为
- 条件熵：将条件概率扩展到信息论中，如果两个信源之间具有相关性，那么在已知其中一个信源 X 的条件下，另一个信源 Y 的信源熵就会减小。
-
条件熵 H(Y|X) 表示的是在已知随机变量 X 的条件下另一个随机变量 Y 的不确定性，也就是在给定 X 时，根据 Y 的条件概率计算出的熵再对 X 求解数学期望：
条件熵的意义在于先按照变量 X 的取值对变量 Y进行了一次分类，对每个分出来的类别计算其单独的信息熵，再将每个类的信息熵按照 X 的分布计算其数学期望。
-
条件熵 H(Y|X) 表示的是在已知随机变量 X 的条件下另一个随机变量 Y 的不确定性，也就是在给定 X 时，根据 Y 的条件概率计算出的熵再对 X 求解数学期望：
- 互信息：等于 Y 的信源熵减去已知 X 时 Y 的条件熵，即由 X 提供的关于 Y 的不确定性的消除，也可以看成是 X 给 Y带来的信息增益。
-
互信息这个名称在通信领域经常使用，信息增益则在机器学习领域中经常使用，两者的本质是一样的。
- 在机器学习中，信息增益常常被用于分类特征的选择。
- 对于给定的训练数据集 Y，H(Y) 表示在未给定任何特征时，对训练集进行分类的不确定性；
- H(Y|X) 则表示了使用特征 X 对训练集 Y进行分类的不确定性。
- 信息增益表示的就是特征 X 带来的对训练集 Y 分类不确定性的减少程度，也就是特征 X 对训练集 Y 的区分度。
- 信息增益更大的特征具有更强的分类能力。但信息增益的值很大程度上依赖于数据集的信息熵 H(Y)，因而并不具有绝对意义。
-
- 信息增益比：g(X,Y)=I(X;Y)/H(Y)
- Kullback-Leibler 散度：
-
KL 散度描述两个概率分布 P 和 Q 之间的差异的一种方法，其定义为：
- KL 散度是对额外信息量的衡量。给定一个信源，其符号的概率分布为 P(X)，就可以设计一种针对 P(X) 的最优编码，使得表示该信源所需的平均比特数最少（等于该信源的信源熵）
- KL 散度用来衡量这种情况下平均每个字符多用的比特数，也可以表示两个分布之间的距离。
- KL 散度的两个重要性质是非负性和非对称性。
- 非负性是指 KL 散度是大于或等于 0 的，等号只在两个分布完全相同时取到。
- 非对称性则是指 DKL(P||Q)≠DKL(Q||P)，即用 P(X)P(X) 去近似 Q(X) 和用 Q(X)去近似 P(X)得到的偏差是不同的，因此 KL 散度并不满足数学意义上对距离的定义
-
KL 散度描述两个概率分布 P 和 Q 之间的差异的一种方法，其定义为：
- 最大熵原理：确定随机变量统计特性时力图最符合客观情况的一种准则。对于一个未知的概率分布，最坏的情况就是它以等可能性取到每个可能的取值。
