下面这几个熵都是描述联合分布中的两个变量相互影响的关系。
联合信息熵
联合信息熵的定义如下：
联合信息熵定义
条件信息熵
条件信息熵的定义如下：
条件信息熵定义
用图像形象化地理解这二者的关系：
熵的关系图
举个栗子，今天的天气是什么可以看作为事件X，我是否穿短袖可看作事件Y。这两个事件可以构成联合概率分布p(X,Y)，其联合熵为上述关系图的第一条，注意，两个事件加起来的信息量(H(X,Y))肯定是大于等于单个事件的信息量(H(X)或H(Y))的。同时，天气如何与我是否穿短袖这两个事件并不是独立的，
因此已知今天天气的情况下，我是否穿衣的信息量/不确定度是减少了的。所以已知H(X)这个信息量时，联合分布H(X,Y)剩余的信息量就是条件熵：
条件信息熵的另一种定义
互信息（信息增益）
互信息是描述一个联合分布中两个事件的相互影响程度/或者相关那部分的信息量，决策树中就是根据信息增益的大小来选择分裂特征，把最终分类的label看作随机事件Y，当前待选择的特征看作随机事件X，信息增益就是当前Y的信息熵减去已经知道该特征X的情况下Y的信息熵（当已知某个特征的情况下，Y的信息熵越小，即Y的取值越能确定下来，采用该特征作为分裂特征也就能更好地进行最终分类），计算方式如下：
互信息的定义
下图表示各种信息的关系，同时展示了互信息I(X,Y)的不同求法：
各种信息的关系
其中V(X,Y) (Variation of information)度量了不同随机变量/事件之间的差别，当V(X,Y)=0说明这两个变量是完全一致的，值越大则表明两个变量越独立，具体求法：
Variation of information
参考自：https://blog.csdn.net/haolexiao/article/details/70142571
