熵（Shannon Entropy）
又称为“香农熵”或“信息熵”，是一个随机变量不确定性（信息量）的度量，也可理解为随机变量在信息系统中的编码长度。对于离散型随机变量 )
，其信息熵可定义为：%3D-%5Csum_%7Bx%5Cin%20X%7Dp(x)logp(x))
在熵正则化中，主要思想是利用信息熵衡量模型的Class Overlap（分类重合度）。熵越大，类别间重合度越大，模型分类的随机性越强，分类效果越差。因此，目标函数中引入信息熵作为一个正则项：%3DL(%5Ctheta)-%5Clambda%20H(y%7Cx))
最大化目标函数，即熵最小化。
相对熵（Relative Entropy）
又称为“信息散度”或“KL散度”，是两个概率分布间差异的非对称性度量，即这两个分布间的“距离”，等价于两个概率分布的信息熵的差值。对于离散型随机变量
的两个不同概率分布)
和)
，
对
的相对熵可定义为：%3D%5Csum_%7Bx%5Cin%20X%7Dp(x)log%5Cfrac%7Bp(x)%7D%7Bq(x)%7D%3D%5Csum_%7Bx%5Cin%20X%7Dp(x)logp(x)-%5Csum_%7Bx%5Cin%20X%7Dp(x)logq(x))
假设一个概率分布为真实分布，另一个为理论（拟合）分布，相对熵表示使用理论分布拟合真实分布时产生的信息损耗。
交叉熵（Cross Entropy）
两个概率分布和，其中表示真实分布，表示非真实分布，在相同的一组事件中，用非真实分布来表示某个事件发生所需要的平均比特数，即用分布表示目标分布的困难程度：%3D-%5Csum_%7Bx%5Cin%20X%7Dp(x)logq(x))
可以注意到，%3DH(p%2Cq)-H(p))
当目标分布固定不变时，)
为常量，因此最小化交叉熵)
等价于最小化这两个分布的相对熵)
，即让模型训练得到的分布尽可能地接近真实分布。
互信息(Mutual Information)
表示一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不确定性（缩减的信息量）。对于两个随机变量和
，设的先验概率为，后验概率为)
，则定义的后验概率与先验概率比值的对数为对的互信息量：%3DH(X)-H(X%7CY))
最小化互信息，即最小化随机变量的不确定性。设这两个随机变量的联合分布为)
，边缘分布为和)
，展开可得，%3D%5Csum_%7Bx%5Cin%20X%7D%5Csum_%7By%5Cin%20Y%7Dp(x%2Cy)log%5Cfrac%7Bp(x%2Cy)%7D%7Bp(x)p(y)%7D%3DD_%7BKL%7D(p(x%2Cy)%7C%7Cp(x)p(y)))
即互信息是联合分布与边缘分布的相对熵。
