反向传播算法

[TOC]

0. 反向传播

反向传播算法分为前向传播和后向传播两个过程, 基本原理是微积分中的链式法则. 具体而言, 假设有 $f(g(x))=f(y)$ , 那么链式法则为:

$\frac{d z}{d x}=\frac{d z}{d y} \frac{d y}{d x}$

1. 前向传播计算

首先我们对网络结构进行一个基本的假设

网络有 $l$ 层, 且 $l \in {1, 2, ..., L}$
对于每一层的参矩阵为 $\boldsymbol{W}, \mathbf{b}$ , 其中 $\boldsymbol{W} = (W_1,..,W_{L−1}) , \mathbf{b} = (b_1,..,b_{L−1});$
每一层的激活函数为 $f_l$

2020-04-06_152639.jpg

样本集为 $\left\{\mathbf{x}_{i}, y_{i}\right\}_{i=1}^{n}$ , 神经网络模型为 $y=h\left(\mathbf{x}_{i}, y_{i} ; \mathbf{W}, \mathbf{b}\right)$

可以用以上的计算简图表示前向传播的过程, 根据这个计算图, 前向传播的过程可以描述为:

$\begin{aligned} \mathbf{z}^{2} &=\mathbf{W}_{1} \mathbf{x}+\mathbf{b}_{1} \\ \mathbf{a}^{2} &=f_{2}\left(\mathbf{z}^{2}\right) \\ \mathbf{z}^{3} &=\mathbf{W}_{2} \mathbf{a}^{2}+\mathbf{b}_{2} \\ \mathbf{a}^{3} &=f_{3}\left(\mathbf{z}^{3}\right) \\ \ldots & \\ \mathbf{a}^{l} &=f_{l}\left(\mathbf{z}^{l}\right) \\ \mathbf{z}^{l+1} &=\mathbf{W}_{l} \mathbf{a}^{l}+\mathbf{b}_{l} \\ \mathbf{a}^{l+1} &=f_{l+1}\left(\mathbf{z}^{l+1}\right) \end{aligned}$

2. 反向传播

神经网络是若干函数的嵌套模型, 我们将这个嵌套模型学习器记为 $h\left(\mathbf{x}_{i} ; \mathbf{W}, \mathbf{b}\right)$ , 若使用均方误差MSE作为衡量标准, 则损失函数可以定义为

$L(d a t a ; \mathbf{W}, \mathbf{b})=\frac{1}{n} \sum_{i=1}^{n}\left(y_{i}-h\left(\mathbf{x}_{i} ; \mathbf{W}, \mathbf{b}\right)\right)^{2}$

采用梯度下降进行优化, 记 $alpha$ 为学习率, 参数 $\mathbf{W}$ 和 $\mathbf{b}$ 的迭代公式为:

$\begin{aligned} \mathbf{W} &=\mathbf{W}+\alpha \frac{\partial}{\partial \mathbf{W}} L(\text {data} ; \mathbf{W}, \mathbf{b}) \\ \mathbf{b} &=\mathbf{b}+\alpha \frac{\partial}{\partial \mathbf{b}} L(\operatorname{data} ; \mathbf{W}, \mathbf{b}) \end{aligned}$

由于在多层神经网络中参数参数 $\mathbf{W}$ 和 $\mathbf{b}$ 的个数往往是很庞大的, 直接对每一个参数求取导数是不现实的, 因此我们需要一种更快速迭代计算参数的方法, 这种方法称之为反向传播.

反向传播的主要思想是通过求取最后一层参数的梯度, 之后通过某种递归形式求取倒数第二层参数的梯度, 一直到所有参数都求取出来为止.

3. 反向传播的推导

对于任意每一个样本 $x$ , 我们通过前馈传播可以得到输出值 $\mathbf{z}^{l}$ , 经过最后一层的激活函数 $f_{L}$ 可以得到预测结果 $\hat{y}$ , 单个样本的损失可以写成:

$J=(y-h(\mathbf{x} ; \mathbf{W}, \mathbf{b}))^{2}=\left(y-f_{L}\left(z^{L}\right)\right)^{2}$

当我们计算每一个样本的损失, 再加总平均就可以求得全样本的损失, 为了简化问题, 我们只关注一个样本的情形.

对于变量 $\mathbf{z}^{l}$ , 函数 $J$ 对 $\mathbf{z}^{l}$ 的导数根据链式法则, 可以写成以下形式:

$\delta^{l}=\frac{\partial J}{\partial \mathbf{z}^{l}}=\frac{\partial J}{\partial \mathbf{z}^{l+1}} \frac{\partial \mathbf{z}^{l+1}}{\partial \mathbf{a}^{l}} \frac{\partial \mathbf{a}^{l}}{\partial \mathbf{z}^{l}}$

根据递推关系, 也即

$\delta^{l}=\delta^{l+1}\frac{\partial \mathbf{z}^{l+1}}{\partial \mathbf{a}^{l}} \frac{\partial \mathbf{a}^{l}}{\partial \mathbf{z}^{l}}$

所以我们只要求取上述乘积的后两项, 就可以得到我们的递推公式

$\frac{\partial \mathbf{a}^{l}}{\partial \mathbf{z}^{l}}$

对于每一个神经单元变量 $z_i, i\in \{1, 2,...,m\}$ , 通过激活函数可以得到对应的 $a_i$ , 那么向量 $\mathbf a^{l}=(a_1,...,a_m)$ 对 $\mathbf{z}^{l}=(z_1,...,z_m)$ 求导可以写成

2020-04-06_152647.jpg

简记为:

$\frac{\partial \mathbf{a}^{l}}{\partial \mathbf{z}^{l}}=\operatorname{diag}\left(f_{l}^{\prime}\left(\mathbf{z}^{l}\right)\right)$

$\frac{\partial \mathbf{z}^{l+1}}{\partial \mathbf{a}^{l}}$

由于 $\mathbf{z}^{l+1} =\mathbf{W}_{l} \mathbf{a}^{l}+\mathbf{b}_{l}$ , 很容易就知道:

2020-04-06_152654.jpg

$\frac{\partial \mathbf{z}^{l+1}}{\partial \mathbf{a}^{l}}=\mathbf{W}^{l}$

递推式关系

这里的·是点乘, 即矩阵对应位置相乘

4. 结论

$\begin{aligned} \mathbf{z}^{l+1} &=\mathbf{W}_{l} \mathbf{a}^{l}+\mathbf{b}_{l} \\ \mathbf{a}^{l} &=f_{l}\left(\mathbf{z}^{l}\right) \end{aligned}$

有了 $J$ 损失函数对 $z^l$ 的导数递推式, 我们想知道 $J$ 对于 $W_l$ 的导数和 $J$ 对 $b$ 的导数, 只要再进行一次链式分解即可, 从而可以得到

$\begin{aligned} \frac{\partial J}{\partial \mathbf{W}^{l}} &=\frac{\partial J}{\partial \mathbf{z}^{l+1}} \cdot\left(\mathbf{a}^{l}\right)^{\top}=\delta^{l+1}\left(\mathbf{a}^{l}\right)^{\top} \\ \frac{\partial J}{\partial \mathbf{b}^{l}} &=\delta^{l+1} \end{aligned}$

$J$ 对于最后一层 $\mathbf z^{L}$ 的导数可以直接求取, 这样整个递推求取就可连续进行.

参考:

李宏毅的反向传播讲解

矩阵求导法则

最后编辑于：2020.04.06 15:57:11

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 215,634评论 6赞 497
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,951评论 3赞 391
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 161,427评论 0赞 351
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,770评论 1赞 290
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,835评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,799评论 1赞 294
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,768评论 3赞 416
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,544评论 0赞 271
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,979评论 1赞 308
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,271评论 2赞 331
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,427评论 1赞 345
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,121评论 5赞 340
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,756评论 3赞 324
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,375评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,579评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,410评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,315评论 2赞 352