什么是KL散度？

导言：

什么是KL散度？它能够测量距离吗？怎么衡量两个概率分布的相似度？

接下来需要从信息论的角度来解释什么是KL散度，在此之前你需要理解熵和交叉熵的相关知识。

什么是KL散度?

KL散度中的KL代表 Kullback-Leibler，他们两个在1951年提出了KL散度。

有两个概率分布为：P , Q 。KL散度告诉了Q和P的接近程度，也就是相似度，利用交叉熵减去信息熵即可。

KL散度公式

交叉熵和信息熵

KL散度的进一步推导

KL散度的离散和连续形式

所以，KL散度描述了两个概率分布之间的相似程度。

KL散度的性质

  • 非负性
  • 非对称性

KL散度的用途

一些数学小技巧

严格的证明KL散度的非负性：


-log函数为凸函数，那么利用琴生不等式：


似然比

KL散度不仅可以从信息论的角度来看，也可以从概率的角度来看，也就是似然比

似然比

更多：https://medium.com/@cotra.marko/making-sense-of-the-kullback-leibler-kl-divergence-b0d57ee10e0a

总结

  • KL散度
    • 信息论角度 - 相对熵
    • 概率论角度 - 似然比
  • KL散度的性质：非负性（如何证明）、非对称性
  • KL散度的应用
  • KL散度的计算公式
    • 期望形式
    • 离散/连续形式

参考：https://medium.com/activating-robotic-minds/demystifying-kl-divergence-7ebe4317ee68

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容