数学基础：矩阵求导

本文主要参考B站UP主GRNovmbrain的推导视频，链接如下：
https://www.bilibili.com/video/BV1xk4y1B7RQ/?vd_source=eef9eaf7d8271401f6cbf1b7afa000c0

矩阵求导的本质

矩阵 $\boldsymbol{A}$ 对矩阵 $\boldsymbol{B}$ 求导，表示为 $\frac{d\boldsymbol{A}}{d\boldsymbol{B}}$ ，本质是矩阵 $\boldsymbol{A}$ 中的每个元素对矩阵 $\boldsymbol{B}$ 中的每个元素求导。

求导后 $\frac{d\boldsymbol{A}}{d\boldsymbol{B}}$ 中元素的个数：

若 $\boldsymbol{A}$ 为 $1*1$ 矩阵， $\boldsymbol{B}$ 为 $1*1$ 矩阵，则 $\frac{d\boldsymbol{A}}{d\boldsymbol{B}}$ 中元素个数为 $1$ ；
若 $\boldsymbol{A}$ 为 $1*p$ 矩阵， $\boldsymbol{B}$ 为 $1*n$ 矩阵，则 $\frac{d\boldsymbol{A}}{d\boldsymbol{B}}$ 中元素个数为 $p*n$ ；
若 $\boldsymbol{A}$ 为 $q*p$ 矩阵， $\boldsymbol{B}$ 为 $m*n$ 矩阵，则 $\frac{d\boldsymbol{A}}{d\boldsymbol{B}}$ 中元素个数为 $q*p*m*n$ 。

矩阵求导元素布局方法

矩阵 $\boldsymbol{A}$ 对矩阵 $\boldsymbol{B}$ 求导，得到的结果为 $\frac{d\boldsymbol{A}}{d\boldsymbol{B}}$ ，本质上就是矩阵 $\boldsymbol{A}$ 中的每个元素对矩阵 $\boldsymbol{B}$ 中的每个元素求导；那么，不同的元素布局方式，就能得到不同的求导结果（指不同的结果矩阵）。元素的布局可以分为：1）分母布局，2）分子布局，两种布局的关系为：将分母布局得到的结果矩阵进行转置，即可得到分子布局的结果。

本文的例子中采用的是分母布局的形式，也是目前比较主流的机器学习矩阵求导布局形式。有些金融类的教材可能会采用分子布局的形式，两种布局没有优劣之分，为了计算会推导的方便可以采用任意一种布局。需要注意的是：在同一个项目中需保持布局的一致性。

分母布局口诀

标量保持不变，向量需要拉伸；
分子横向拉伸，分母纵向拉伸；

【例1】 $f(\boldsymbol{x})$ 为标量， $\boldsymbol{x}=[x_1, x_2, ... , x_n]^{T}$ 为列向量，求 $\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}}$ 。

此例中，分子 $f(\boldsymbol{x})$ 为标量，分母 $\boldsymbol{x}$ 为向量，求导获得的矩阵共有 $n$ 个元素。依照布局口诀，分子为标量，保持不变，分母为向量，需将其各元素纵向拉伸。由此，我们可以得到：

【例2】 $f(x)=[f_1(x), f_2(x), ... , f_n(x)]$ 为向量函数， $x$ 为标量，求 $\frac{df(x)}{dx}$ 。

此例中，分子为向量，分母为标量，求导获得的矩阵共有 $n$ 个元素。依照布局口诀，分子为向量，需将其各元素横向拉伸，分母为标量，保持不变。由此，我们可以得到：

$\frac{df(x)}{dx} = \left[ \begin{matrix} \frac{df_{1}(x)}{dx} & \frac{df_{2}(x)}{dx} \cdots & \frac{df_{n}(x)}{dx} \end{matrix} \right]$

【例3】 $f(\boldsymbol{x})=[f_1(\boldsymbol{x}), f_2(\boldsymbol{x}), ... , f_n(\boldsymbol{x})]$ 为向量函数， $\boldsymbol{x}=[x_1, x_2, ... , x_n]^{T}$ 为列向量，求 $\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}}$ 。

此例中，分子为向量，分母为也为向量，求导获得的矩阵共有 $n^2$ 个元素。依照布局口诀，分子为向量，需将其各元素横向拉伸，分母为向量，需将其各元素纵向拉伸。我们先将分母纵向拉伸，再将分子横向拉伸，可以得到：

$\frac{\partial f(\boldsymbol{x})}{\partial \boldsymbol{x}} = \left[ \begin{matrix} \frac{\partial f(\boldsymbol{x})}{\partial x_{1}}\\ \frac{\partial f(\boldsymbol{x})}{\partial x_{2}} \\ \vdots \\ \frac{\partial f(\boldsymbol{x})}{\partial x_{n}} \end{matrix} \right]= \left[ \begin{matrix} \frac{\partial f_{1}(\boldsymbol{x})}{\partial x_1} & \frac{\partial f_{2}(\boldsymbol{x})}{\partial x_1} & \cdots & \frac{\partial f_{n}(\boldsymbol{x})}{\partial x_1} \\ \frac{\partial f_{1}(\boldsymbol{x})}{\partial x_2} & \frac{\partial f_{2}(\boldsymbol{x})}{\partial x_2} & \cdots & \frac{\partial f_{n}(\boldsymbol{x})}{\partial x_2} \\ \vdots & \vdots & \cdots & \vdots \\ \frac{\partial f_{1}(\boldsymbol{x})}{\partial x_n} & \frac{\partial f_{2}(\boldsymbol{x})}{\partial x_n} & \cdots & \frac{\partial f_{n}(\boldsymbol{x})}{\partial x_n} \end{matrix} \right]$

常用矩阵求导公式

$\frac{\partial \boldsymbol{a}^{T}\boldsymbol{x}}{\partial \boldsymbol{x}} = \frac{\partial \boldsymbol{x}^{T}\boldsymbol{a}}{\partial \boldsymbol{x}}= \boldsymbol{a}$
$\frac{\partial \boldsymbol{x}^{T}\boldsymbol{A}\boldsymbol{x}}{\partial \boldsymbol{x}} = (\boldsymbol{A} + \boldsymbol{A}^{T})\boldsymbol{x}$

符号说明：

$\boldsymbol{a}$ , $\boldsymbol{x}$ 为列向量；
$\boldsymbol{A}$ 为矩阵。

推荐书籍

The Matrix Cookbook : http://www2.imm.dtu.dk/pubdb/edoc/imm3274.pdf

最后编辑于：2023.05.11 15:27:05

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 219,539评论 6赞 508
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 93,594评论 3赞 396
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 165,871评论 0赞 356
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,963评论 1赞 295
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,984评论 6赞 393
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,763评论 1赞 307
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,468评论 3赞 420
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,357评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,850评论 1赞 317
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 38,002评论 3赞 338
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 40,144评论 1赞 351
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,823评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,483评论 3赞 331
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 32,026评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,150评论 1赞 272
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,415评论 3赞 373
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 45,092评论 2赞 355