信息熵，KL散度，JS散度

信息熵

信息熵(information entropy), 是一种度量随机变量包含信息的多少的指标。在介绍信息熵之前，可以先了解一下何为信息。信息可以理解为随机事件 $x$ 发生时，令人吃惊的程度。也即小概率事件发生时会带来更多的信息，而大概率事件发生带来的信息更少。因此考虑如下的函数形式：
$h(x) = -log_{2}p(x)$
该函数既保证了信息的非负性，同时也保证了低概率事件携带更多的信息。接下来，把各种可能出现的事件的信息量乘以其发生的概率之后求和，也即随机变量 $x$ 携带信息的期望：
$H(X) = - \sum_{x \in X} P(x) logP(x)$
上式即为信息熵的定义。信息熵也可以理解为系统的混乱程度。对于一个M维的离散型的随机变量 X = (1,0,0,...,0), $H(X) = 0$ ;同样任意对于M维随机变量，不难验证，当 $p(x) = 1/M, \forall x \in X$ 时，信息熵最大， $H(X) = lnM$ 。

KL散度

KL散度(Kullback–Leibler divergence), 又名相对熵(Relative entropy)，可以用来衡量两个概率分布的差异。

对于离散型随机变量，KL散度的定义如下：
$D_{KL}(P||Q) = \sum_{x \in X} P(x) log\frac{P(x)}{Q(x)}$
$D_{KL}(Q||P) = \sum_{x \in X} Q(x) log\frac{Q(x)}{P(x)}$
KL散度有定义当且仅当：1、P(x)的和等于1，Q(x)的和等于1；
2、 $\forall x \in X, P(x) \geq 0$ 且 $Q(x) \geq 0$

e.g.
P = (1/2,1/2,0,0), Q = (1/3,2/3,0,0); $D_{KL}(P||Q)$ 有定义
P = (1/2,1/2,0,0), Q = (1/3,1/3,1/3,0); $D_{KL}(P||Q)$ 无定义

对于连续型的随机变量，KL散度的定义如下：
$D_{KL}(P||Q) =\int_{-\infty }^{+\infty}P(x) log\frac{P(x)}{Q(x)}dx$
$D_{KL}(Q||P) =\int_{-\infty }^{+\infty}Q(x) log\frac{Q(x)}{P(x)}dx$

ps: KL散度有两个重要的性质
1、不对称性，即 $D_{KL}(P||Q) \neq D_{KL}(Q||P)$
2、非负性，即 $D_{KL}(P||Q) \geq 0$ 。
性质1不难验证，下面我们来证明性质2：
$D_{KL}(P||Q) = - \int_{-\infty }^{+\infty}P(x) log\frac{Q(x)}{P(x)}dx$
$\because lnx \leq x - 1$
$\therefore -D_{KL}(P||Q) = \int_{-\infty }^{+\infty}P(x) log\frac{Q(x)}{P(x)}dx \leq \int_{-\infty }^{+\infty}P(x) (\frac{Q(x)}{P(x)} - 1) dx = 0$
$D_{KL}(P||Q) \geq 0$

code for KL divergence

import scipy.stats
def KL_divergence(p,q):
    return scipy.stats.entropy(p,q)

JS散度

JS散度(Jensen Shannon divergence), JS散度的定义基于KL散度。

$JSD(P||Q) = \frac{1}{2} D(P||M) + \frac{1}{2} D(Q||M), M = \frac{1}{2} (P + Q)$

对于离散型随机变量，JS散度又可以写成
$\frac{1}{2} \sum_{x \in X} \left \{ {P(x)log \frac{2P(x)}{P(x) + Q(x)} + Q(x)log \frac{2Q(x)}{P(x) + Q(x)}} \right \}$
ps: JS散度有定义的条件与KL散度有定义的条件相同
ps: JS散度有两个重要的性质
1、对称性，即 $JSD(P||Q) = JSD(Q||P)$
2、有界性，若log以2为底，则 $0 \leq JSD(P||Q) \leq 1$

code for JS divergence

import scipy.stats
def JS_divergence(p,q):
    M=(p+q)/2
    return 0.5*scipy.stats.entropy(p, M)+0.5*scipy.stats.entropy(q, M)

Reference:
Pattern Recognition and Machine Learning
https://en.wikipedia.org/wiki/Entropy_(information_theory)
https://zh.wikipedia.org/wiki/%E7%9B%B8%E5%AF%B9%E7%86%B5
https://en.wikipedia.org/wiki/Jensen%E2%80%93Shannon_divergence

信息熵，KL散度，JS散度

信息熵

KL散度

JS散度

推荐阅读更多精彩内容