corssEntropy(softmax(\theta | X, I(y))) 梯度推导[2021-02-05]

限于本人水平，如有谬误敬请指出。

交叉熵合并 softmax 函数：

$\begin{align} \\ &\mathrm{F}(\theta)&&=&&crossEntropy(softmax(\theta\;|\; \vec{\mathrm{x}}, \vec{f_c(y)})) \\ \\ &&&=&& \vec{f_{c}(y)}^{T} \cdot log \left( \frac {exp(\vec{\mathrm{x}}^T\theta)} {\sum exp(\vec{\mathrm{x}}^T\theta)} \right) \end{align}$

$\theta$ 是一个 $m\times c$ 的矩阵，其中 $m$ 是特征的数量， $c$ 是分类的数量。

假设 $\mathrm{\vec{x}}$ 为 $m\times 1$ 的列向量。

$\cdot$ 运算和 numpy 的广播机制一致。

$\vec{f_{c}(y)}$ 函数会建立一个长度为 $m\times 1$ 的全零向量，并将第 $y$ 个索引位置的元素置一。（m 和 y 均从 0 开始计数， $\vec{f_c(y)}^{T}$ 将会建立一个与 $softmax(\mathrm{\vec{x}}^{T}\theta)$ 输出 $1\times m$ 相同形式的向量）

$\vec{\hat{y}}$ 是一个形状与 $\vec{f_{c}(y)}$ 形状相同的向量。

这里所有的向量初始状态默认为列向量。

注意：注意矩阵运算中的结果的形状应该以 $\theta$ 的形状为准，因为求的梯度为 $\theta$ 的梯度。

$\mathrm{F}`(\theta)$ 求解:

部分求导

part 0 求导
$\begin{align} \frac { \partial\left( f_{c}(y)^{T} \cdot log \left( \frac {exp(\vec{\mathrm{x}}^T\theta)} {\sum exp(\vec{\mathrm{x}}^T\theta)} \right) \right) } {\partial(\frac {exp(\vec{\mathrm{x}}^T\theta)} {\sum exp(\vec{\mathrm{x}}^T\theta)}} &&=&& \vec{f_{c}(y)}^{T} \cdot \frac {1} {\frac {exp(\vec{\mathrm{x}}^T\theta)} {\sum exp(\vec{\mathrm{x}}^T\theta)}} \\ \\ &&=&& \vec{f_{c}(y)}^{T} \cdot \frac {\sum exp(\vec{\mathrm{x}}^T\theta)} {exp(\vec{\mathrm{x}}^T\theta)} \end{align}$

part 1 求导

$\begin{align} \frac { \partial\left( \frac {exp(\vec{\mathrm{x}}^T\theta)} {\sum exp(\vec{\mathrm{x}}^T\theta)} \right) } {\partial(exp(\vec{\mathrm{x}}^T\theta)} &&=&& \frac {{\sum exp(\vec{\mathrm{x}}^T\theta) - exp(\vec{\mathrm{x}}^T\theta)}} {(\sum exp(\vec{\mathrm{x}}^T\theta))^{2}} \end{align}$

part 2 求导

$\begin{align} \frac {\partial(exp(\vec{\mathrm{x}}^T\theta))} {\partial(\theta)} &&=&& \mathrm{\vec{x}}\cdot exp(\mathrm{\vec{x}^{T}\theta}) \end{align}$

合并部分导数

依据链式求导法则，合并 part 0, part 1, part 2：（a 为左边，b 为右边）

$\begin{align} \frac {\partial(\mathrm{F}(\theta))} {\partial(\theta)}_{shape=m\times c} &&=&& \frac { \partial\left( \vec{f_{c}(y)}^{T} \cdot log \left( \frac {exp(\vec{\mathrm{x}}^T\theta)} {\sum exp(\vec{\mathrm{x}}^T\theta)} \right) \right) } {\partial(\frac {exp(\vec{\mathrm{x}}^T\theta)} {\sum exp(\vec{\mathrm{x}}^T\theta)}} \cdot \frac { \partial\left( \frac {exp(\vec{\mathrm{x}}^T\theta)} {\sum exp(\vec{\mathrm{x}}^T\theta)} \right) } {\partial(exp(\vec{\mathrm{x}}^T\theta)} \cdot \frac {\partial(exp(\vec{\mathrm{x}}^T\theta))} {\partial(\theta)} &&(a) \\\\ &&=&& \vec{f_{c}(y)}^{T} \cdot \frac {\sum exp(\vec{\mathrm{x}}^T\theta)} {exp(\vec{\mathrm{x}}^T\theta)} \cdot \frac {{\sum exp(\vec{\mathrm{x}}^T\theta) - exp(\vec{\mathrm{x}}^T\theta)}} {(\sum exp(\vec{\mathrm{x}}^T\theta))^{2}} \cdot \mathrm{\vec{x}}\cdot exp(\mathrm{\vec{x}^{T}\theta}) &&(b) \end{align}$

分别合并 (a), (b)：

$\begin{align} \frac {\partial(\mathrm{F}(\theta))} {\partial(\theta)}_{shape=m\times c} &&=&& \frac { \partial\left( \vec{f_{c}(y)}^{T} \cdot log \left( \frac {exp(\vec{\mathrm{x}}^T\theta)} {\sum exp(\vec{\mathrm{x}}^T\theta)} \right) \right) } {\partial(\theta)} &&(a) \\\\ && = && \mathrm{\vec{x}}\cdot \vec{f_{c}(y)}^{T} \cdot \frac {{\sum exp(\vec{\mathrm{x}}^T\theta) - exp(\vec{\mathrm{x}}^T\theta)}} {\sum exp(\vec{\mathrm{x}}^T\theta)}&&(b)\\\\ &&=&&\mathrm{\vec{x}}\cdot \vec{f_{c}(y)}^{T}\cdot (1 - softmax(\mathrm{\vec{x}}^{T}\theta))&&(b) \\ \\ &&=&&\mathrm{\vec{x}}\cdot \vec{f_{c}(y)}^{T}\cdot (1 - \vec{\hat{y}}^{T})&&(b) \end{align}$

所有公式和内容均为本人手打，创作权归本人所有，禁止转载。

最后编辑于：2021.02.07 12:52:24

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,193评论 6赞 498
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,306评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,130评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,110评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,118评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,085评论 1赞 295
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,007评论 3赞 417
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,844评论 0赞 273
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,283评论 1赞 310
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,508评论 2赞 332
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,667评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,395评论 5赞 343
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,985评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,630评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,797评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,653评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,553评论 2赞 352

corssEntropy(softmax(\theta | X, I(y))) 梯度推导[2021-02-05]

求解:

部分求导

合并部分导数

推荐阅读更多精彩内容

$\mathrm{F}`(\theta)$ 求解: