一、信息熵
1948年,香农在他的《通信的数学原理》中提出了的概念，解决了信息的度量问题，如何理解信息的度量，通俗的解释就是有多少信息量，一条信息的信息量与其不确定性有着直接的关系，信息熵代表了事件的不确定程度，概率越大，不确定程度越小，概率越小，不确定程度越大。比如某事情A经常发生，那么它的信息量就相对小，如果某件事B发生的概率极低，那么它的信息量就相对大。信息熵的定义如下：
用一个例子来理解该公式：
假设你想知道隔壁班在本次考试中谁得了第一，那么对应的信息熵为：
二、条件熵
为什么引入条件熵呢？基于一、，一条信息的信息量与其不确定性有着直接的关系，也就是知道得越多，随机事件的不确定性越小，也就是信息量越小，如果你想知道事件X的信息量，而事件Y的不确定性对X有影响，那么在知道Y的条件下，X的信息熵为：
三、互信息
- 简介
基于二、，假设了Y对X有影响，也就是X和Y之间有相关性，那么如何度量这种相关性呢？在此引入互信息，定义如下：
假设有两个随机事件X和Y，那么他们的互信息如下：
可认为：在了解Y的前提下，对消除X的不确定性所提供的信息量
- 应用-歧义消解
原理：假设词语X有两层含义a和b，在不同语境下的意思不一致，需要在不同的语境中理解为不同的含义，但是由于都是X无法区分，那么，可以从大量的本文之中，找出和a互信息比较大的n个词作为a的特征，找出和b互信息比较大的n个词作为b的特征，但出现一段文本的时候，根据特征识别X的具体含义，如下（以苹果为例，苹果包含水果和苹果公司两层含义）：
1、从关于苹果公司的语料中学习a的特征 - 原始语料
语料1：苹果 致力 于 科技
语料2：美国人 支持 苹果 公司
语料3：苹果 是一家 科技 公司
- 去除停用词
语料1：苹果 致力 科技
语料2：美国人 支持 苹果 公司
语料3：苹果 科技 公司
- 概率统计
语料库中的长度为10,
那么
根据
得(这里词已是最小单位，无需
):
- 提取
苹果表示苹果公司的特征a:
本文提取互信息最大的两个特征：
科技、公司
2、类推:按照以上过程，提取苹果表示水果的特征b:
假设提取的b的特征为水果、价格
3、判别：那么输入一个文本的时候，判断该文本中哪一类的特征多即可判断意思
参考：吴军老师的《数学之美》
