熵与softmax

一、信息熵（information entropy）

  1. 不确定性
    设I(p)是不确定性的度量，则需满足
    a. I(p)是概率p的减函数，且非负
    b. 独立事件间I(p)具有可加性：I(p_ip_j)=I(p_i)+I(p_j)
    可知，I(p)=-log(p)满足以上条件，可作为不确定性度量。

  2. 信息
    信息的基本作用就是消除事物的不确定性。因而信息的度量等于不确定性的度量。

  3. 信息熵
    熵是体系混乱程度的度量。信息熵则是整个体系的不确定性的度量。公式表示为
    H(p)=E(I(p))=-\sum_i{p_ilog(p_i)}

  4. 相对熵（KL散度）
    相对熵用于衡量某一概率分布q相对真实概率分布p的信息熵差异，公式为
    \begin{align} D_{KL}(p||q) &= \sum_i{p_ilog( \frac{p_i}{q_i} )} \\ &= (-\sum_i{p_ilog(q_i)})-(-\sum_i{p_ilog(p_i)}) \\ &= H(p,q)-H(p) \end{align}
    相对熵始终非负，可通过Jensen不等式证明：
    \sum_i{p_ilog(\frac{p_i}{q_i})}=-\sum_i{p_ilog(\frac{q_i}{p_i})} \ge -log(\sum_ip_i\frac{q_i}{p_i})=0

  5. 交叉熵
    定义H(p,q)=-\sum{p_ilog(q_i)}为概率分布q相对真实分布p的交叉熵。当p确定时，D_{KL}中只有H(p,q)与q相关，在优化D_{KL}时，等价于优化H(p,q)。

二、softmax+交叉熵

  1. sigmoid函数
    \delta(x)=\frac{1}{1+e^{-x}}
    \delta'(x)=\delta(1-\delta)

  2. 逻辑回归(LR)
    对于二分类0-1问题，我们用sigmoid函数\delta(\theta^Tx)表示分类为1的概率
    H(x) =\delta(\theta^Tx)= \left\{ \begin{array}{lr} 1,\delta\ge 0.5 \\ 0,\delta<0.5 \end{array} \right.
    对于输入样本x_i，y_i为1时概率为\delta(\theta^Tx_i)，y_i为0时概率为1-\delta(\theta^Tx_i)，则输出为y_i的概率可统一写为\delta(\theta^Tx_i)^{y_i}(1-\delta(\theta^Tx_i))^{1-y_i}
    则其对数似然函数为：L_g(\theta) = \sum\left({y_i}log(\delta(\theta^Tx_i))+(1-y_i)log(1-\delta(\theta^Tx_i))\right)
    对其求导：
    \begin{align} L_g'(\theta) &= \sum{\left({y_i}\frac{1}{\delta}\delta'+(1-y_i)\frac{1}{1-\delta}(1-\delta)' \right)} \\ & = \sum{\left({y_i}\frac{1}{\delta}\delta(1-\delta)+(1-y_i)\frac{1}{1-\delta}(-\delta(1-\delta))\right)}x_i \\ & = \sum{\left({y_i}(1-\delta)+(1-y_i)(-\delta)\right)}x_i \\ & = \sum(y_i-\delta)x_i \end{align}
    也可以说损失函数导数为：\frac{\partial{L}}{\partial{x_i}}= \delta - y_i

  3. softmax
    对于softmax层，其多个输入分别为z_i，经过该层后，分别对应输出为\delta(z_i)=\frac{e^{z_i}}{\sum{e^{z_j}}}。
    显然，对于二分类，softmax层等价于sigmoid函数的作用：
    \frac{e^{z_1}}{e^{z_1}+e^{z_2}}=\frac{1}{1+e^{-\frac{z_1}{z_2}}}
    我们来看下导数：
    \frac{\partial{\delta(z_i)}}{\partial{z_i}} =\partial(1-\frac{\sum_{j \ne i}{e^{z_j}}}{\sum{e^{z_j}}})\frac{1}{\partial{z_i}}=\frac{e^{z_i}\sum_{j \ne i}{e^{z_j}}}{(\sum{e^{z_j}})^2}=\delta(z_i)(1-\delta(z_i))
    \frac{\partial{\delta(z_j)}}{\partial{z_i}}=\partial(\frac{{e^{z_j}}}{\sum{e^{z_j}}})\frac{1}{\partial{z_i}}=-\frac{e^{z_i}e^{z_j}}{(\sum{e^{z_j}})^2}=-\delta(z_i)\delta(z_j)

  4. softmax+交叉熵
    交叉熵损失函数定义为L(z) = -\sum{y_i}log(\delta(z_i))，对其中一个输入值的偏导数如下：
    \begin{align} \frac{\partial{L}}{\partial{z_i}} &= -\sum_j{y_j}\frac{1}{\delta(z_j)} \frac{\partial{\delta(z_j)}}{\partial{z_i}} \\ &= -y_i(1-\delta(z_i))+\delta(z_i) \sum_{j \ne i}{y_j} \\ &= \delta(z_i) -y_i \\ \end{align}
    可见在0-1分类情况下，softmax+交叉熵等价于sigmoid+对数似然。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 205,132评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 87,802评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 151,566评论 0赞 338
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,858评论 1赞 277
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,867评论 5赞 368
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,695评论 1赞 282
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,064评论 3赞 399
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,705评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 42,915评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,677评论 2赞 323
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,796评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,432评论 4赞 322
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,041评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,992评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,223评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,185评论 2赞 352
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,535评论 2赞 343

推荐阅读更多精彩内容