熵(entropy)

統計學的熵(entropy)

其他文章連結：
Cross entropy1
Cross entropy2
Cross entropy3
Cross entropy4
Cross entropy5

信息量

越不可能發生的事件信息量越大，例如“地球在2016年會爆炸”這句話信息量就很大。而確定事件的信息量就很小，例如“我媽是女的”，信息量就很低甚至為0。

信息量計算
例如有一枚作弊的銅板，擲中正面的機率是90%我們稱為事件A，擲中背面的機率是10%我們稱為事件B。
發生事件A的信息量為 $-log(0.1)=1.0000$ ，發生機率低，信息量很大。
發生事件B的信息量為 $-log(0.9)=0.0457$ ，發生機率高，信息量很小。

熵(entropy)

熵(entropy)代表信息量的期望值，代表不確定度，熵在熱力學中也代表亂度。

1.離散型隨機變量

建議看一下期望值、二項分佈對理解entropy以及Logistic Regression會有幫助。
對數所使用的底，通常是2,自然常數e，或是10。當b = 2，熵的單位是bit；當b = e，熵的單位是nat；而當b = 10,熵的單位是Hart。

離散型隨機變量的期望值
熵計算

例如有一枚作弊的銅板，擲中正面的機率是90%我們稱為事件A，擲中背面的機率是10%我們稱為事件B。
發生事件A的信息量為 $-log(0.1)=1.0000$ ，發生機率低，信息量很大。
發生事件B的信息量為 $-log(0.9)=0.0457$ ，發生機率高，信息量很小。
擲這枚銅板的熵: $H(X)=0.1*1+0.9*0.0457=0.1412$
不確定度越低熵越小，我們可以很確定會擲中正面。
例如有一枚正常的銅板，擲中正面的機率是50%我們稱為事件A，擲中背面的機率是50%我們稱為事件B。
發生事件A的信息量為 $-log(0.5)=0.3010$
發生事件B的信息量為 $-log(0.5)=0.3010$
擲這枚銅板的熵: $H(X)=0.5*0.3010+0.5*0.3010=0.3010$
不確定度越高熵越大，我們很難確定會擲中正面或反面。

2.連續型隨機變量

連續型隨機變量求熵則求積分。

交叉熵

$H(p||q) = \sum_{x∈X}^{ }p\left(x\right) \cdot \log\left(\frac{1}{q\left(x\right)}\right)$
$= -\sum_{x∈X}^{ }p\left(x\right) \cdot \log \left({q \left(x \right)}\right)$

KL散度(相對熵)

KL散度是用來衡量兩個事件/分佈之間的不同，記為 $D_{KL}(p||q)$ 。
定義： $0\log\left(\frac{0}{0}\right)=0,0\log\left(\frac{0}{q}\right)=0,p\log\left(\frac{p}{0}\right)=∞$
$D_{KL}(p||q)=\sum_{x∈X}^{ }p\left(x\right) \cdot \log\left(\frac{p\left(x\right)}{q\left(x\right)}\right)$
$=\sum_{x∈X}^{ }p(x)\cdot\log\left(p\left(x\right)\right)-q\left(x\right)\cdot\log\left(p\left(x\right)\right)$
$= -H(p)-q \left(x\right)\cdot\log\left(p\left(x\right)\right)$
$p = q時，即兩個事件分佈完全相同，那麼KL散度等於0$ 。

交叉熵與相對熵

$交叉熵+\sum_{x∈X}p(x) \cdot log(p(x))=相對熵=交叉熵+(-熵)$
$\sum_{x∈X}^{ }p\left(x\right) \cdot \log\left(\frac{1}{q\left(x\right)}\right)+p(x) \cdot log(p(x))=\sum_{x∈X}^{ }p\left(x\right) \cdot \log\left(\frac{p\left(x\right)}{q\left(x\right)}\right)$

最后编辑于：2019.01.23 13:00:25

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 220,548评论 6赞 513
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 94,069评论 3赞 396
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 166,985评论 0赞 357
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 59,305评论 1赞 295
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 68,324评论 6赞 397
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 52,030评论 1赞 308
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,639评论 3赞 420
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,552评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 46,081评论 1赞 319
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 38,194评论 3赞 340
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,327评论 1赞 352
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 36,004评论 5赞 347
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,688评论 3赞 332
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,188评论 0赞 23
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,307评论 1赞 272
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,667评论 3赞 375
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,337评论 2赞 358

熵(entropy)

統計學的熵(entropy)

信息量

熵(entropy)

1.離散型隨機變量

2.連續型隨機變量

交叉熵

KL散度(相對熵)

交叉熵與相對熵

推荐阅读更多精彩内容