前向传播和反向传播

推导出前向传播算法和反向传播算法公式

$f_{i+1}=f\left(f_{i} * w_{i}+1\right)$ ，根据梯度下降法，以目标的负梯度对目标进行更新。 $w \leftarrow w+\Delta w$ ，其中 $\Delta w=-\alpha \frac{\partial L o s s}{\partial w}$

如果要更新第二层的权重， $\Delta w_{1}=\frac{\partial L o s s}{\partial w_{2}}=\frac{\partial L o s s}{\partial f_{4}} \frac{\partial f_{4}}{\partial f_{3}} \frac{\partial f_{3}}{\partial f_{2}} \frac{\partial f_{2}}{\partial w_{2}}$ ， $\frac{\partial f_{4}}{\partial f_{3}}$ 就是对激活函数求导，如果此部分大于1，随着层数的增多就会发生梯度爆炸，如果此部分小于1，就会发生梯度消失

反向传播具体过程

每一层的线性变换是： $z^{(l)}=W^{(l)} x^{(l)}+b^{(l)}$ ，输出为： $\boldsymbol{a}^{(l)}=f\left(z^{(l)}\right)$ 其中 f 为非线性变换（如 sigmoid、tanh、relu），输出直接作为下一层输入

通过梯度下降法对参数进行更新： ${W_{j i}^{(l)}=W_{j i}^{(l)}-\alpha \frac{\partial}{\partial W_{j i}^{(l)}} J(W, b)} \\ {b_{j}^{(l)}=b_{j}^{(l)}-\alpha \frac{\partial}{\partial b_{j}^{(l)}} J(W, b)}$

为得到递推公式，先计算损失函数对隐藏层的偏导： $\frac{\partial}{\partial z_{j}^{(l)}} J(\boldsymbol{W}, \boldsymbol{b})=\sum_{k=1}^{s_{l+1}}\left(\frac{\partial J(\boldsymbol{W}, \boldsymbol{b})}{\partial z_{k}^{(l+1)}} \frac{\partial z_{k}^{(l+1)}}{\partial z_{j}^{(l)}}\right)$

其中 $s_{l+1}$ 是第 l+1层的节点数，而 $\frac{\partial z_{k}^{(l+1)}}{\partial z_{j}^{(l)}}=\frac{\partial\left(\sum_{j^{\prime}=1}^{s_{l}} W_{k j^{\prime}}^{(l+1)} \cdot x_{j^{\prime}}^{(l+1)}+b_{k}^{(l+1)}\right)}{\partial z_{j}^{(l)}}$ ，其中 $x^{(l+1)}=a^{(l)}=f\left(z^{(l)}\right)$ ，所以 $\frac{\partial z_{k}^{(l+1)}}{\partial z_{j}^{(l)}}=W_{k j}^{(l+1)} f^{\prime}\left(z_{j}^{(l)}\right)$

记 $\frac{\partial}{\partial z_{j}^{(l)}} J(\boldsymbol{W}, \boldsymbol{b})$ 为 $\delta_{j}^{(l)}$ ，从而递推公式可以表示为 $\delta_{j}^{(l)}=\left(\sum_{k=1}^{s_{l+1}} W_{k j}^{(l+1)} \delta_{k}^{(l+1)}\right) f^{\prime}\left(z_{j}^{(l)}\right)$

所以 $\begin{array}{l}{\frac{\partial}{\partial W_{j i}^{(l)}} J(W, b)=\frac{\partial J(W, b)}{\partial z_{j}^{(l)}} \frac{\partial z_{j}^{(l)}}{\partial W_{j i}^{(l)}}=\delta_{j}^{(l)} x_{i}^{(l)}=\delta_{j}^{(l)} a_{i}^{(l-1)}} \\ {\frac{\partial}{\partial b_{j}^{(l)}} J(W, b)=\delta_{j}^{(l)}}\end{array}$

对两种不同的损失函数计算最后一层的残差：

平方损失误差： $\begin{array}{c}{J(W, b)=\frac{1}{2}\left\|y-a^{(L L)}\right\|^{2}=\frac{1}{2}\left\|y-f\left(z_{j}^{(L)}\right)\right\|^{2}} \\ {\delta^{(L)}=-\left(y-a^{(L)}\right) f^{\prime}\left(z^{(L)}\right)}\end{array}$

交叉熵损失：

$J(W, b)=-\sum_{k=1}^{n} y_{k} \ln a_{k}^{(L)}=-\sum_{k=1}^{n} y_{k} \ln f\left(z_{k}^{(L)}\right)$

在分类问题中， $y_k$ 仅在一个类别 k 时取值为1，其余为0，所以 $\begin{array}{c}{J(\boldsymbol{W}, \boldsymbol{b})=-\ln a_{\tilde{k}}^{(L)}} \\ {\delta_{k}^{(L)}=-\frac{1}{a_{\tilde{k}}^{(L)}} \cdot \frac{\partial a_{\tilde{k}}^{(L)}}{\partial z_{k}^{(L)}}}\end{array}$

当 $a_{k}^{(L)}=f_{k}\left(z^{(L)}\right)$ 取 SoftMax 激活函数时，有：

$\delta_{k}^{(L)}=a_{k}^{(L)}-y_{k}=\left\{\begin{array}{lr}{a_{\tilde{k}}^{(L)}-1,} & {k=\tilde{k}} \\ {a_{k}} & {, k \neq \tilde{k}}\end{array}\right.$

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 217,907评论 6赞 506
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,987评论 3赞 395
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 164,298评论 0赞 354
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,586评论 1赞 293
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,633评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,488评论 1赞 302
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,275评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,176评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,619评论 1赞 314
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,819评论 3赞 336
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,932评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,655评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,265评论 3赞 329
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,871评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,994评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,095评论 3赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,884评论 2赞 354

前向传播和反向传播

推荐阅读更多精彩内容