对向量求导和对矩阵求导

对一个数求导大家都比较熟悉，那么对向量求导呢？看如下的例子：
假设有矩阵 $A$ 和向量 $\boldsymbol{x}$ ：
$A= \begin{bmatrix} a_{11} & a_{12} & \cdots & a_{1n} \\ a_{21} & a_{22} & \cdots & a_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ a_{m1} & a_{m2} & \cdots\ & a_{mn} \\ \end{bmatrix}, \vec{x}=\begin{pmatrix} x_1\\ x_2\\ \vdots \\ x_n \end{pmatrix}$

很容易求出，
$A\cdot \vec x = \begin{pmatrix} a_{11}x_1+a_{12}x_2+\cdots+a_{1n}x_n \\ a_{21}x_1+a_{22}x_2+\cdots+a_{2n}x_n \\ \vdots\\ a_{m1}x_1+a_{m2}x_2+\cdots+a_{mn}x_n \\ \end{pmatrix}$

现在令 $\vec{y}=A\vec{x}$ ，则向量 $\vec{y}$ 对向量 $\vec{x}$ 求偏导的结果为多少？
既然是向量 $\vec{y}$ 对向量 $\vec{x}$ 求偏导，则需要让向量 $\vec{y}$ 中的每一个元素对向量 $\vec{x}$ 中的每一个元素求偏导。
向量 $\vec{y}$ 可以写成
$\vec{y}= \begin{pmatrix} y_1\\ y_2\\ \vdots\\ y_m \end{pmatrix}$
其中 $y_i=a_{i1}x_1+a_{i2}x_2+...+a_{in}x_n$

若采用分母布局，则 $\frac{\partial{\vec{y}}}{\partial{\vec{x}}}= \begin{bmatrix} \frac{\partial{y_1}}{\partial{x_1}}&\frac{\partial{y_2}}{\partial{x_1}}&\cdots&\frac{\partial{y_m}}{\partial{x_1}} \\ \frac{\partial{y_1}}{\partial{x_2}}&\frac{\partial{y_2}}{\partial{x_2}}&\cdots&\frac{\partial{y_m}}{\partial{x_2}} \\ \vdots&\vdots&\ddots&\vdots \\ \frac{\partial{y_1}}{\partial{x_n}}&\frac{\partial{y_2}}{\partial{x_n}}&\cdots&\frac{\partial{y_m}}{\partial{x_n}} \\ \end{bmatrix}$

而 $\frac{\partial{y_j}}{\partial{x_i}}=a_{ji}$ ，故 $\left(\frac{\partial{\vec{y}}}{\partial{\vec{x}}}\right)_{ij}=a_{ji}$ ，从而 $\frac{\partial{\vec{y}}}{\partial{\vec{x}}}=A^T$

总结即为:
$\frac{\partial{\vec{y}}}{\partial{\vec{x}}}=\frac{\partial{A\vec{x}}}{\partial{\vec{x}}}=\begin{bmatrix} \frac{\partial{y_1}}{\partial{x_1}}&\frac{\partial{y_2}}{\partial{x_1}}&\cdots&\frac{\partial{y_m}}{\partial{x_1}} \\ \frac{\partial{y_1}}{\partial{x_2}}&\frac{\partial{y_2}}{\partial{x_2}}&\cdots&\frac{\partial{y_m}}{\partial{x_2}} \\ \vdots&\vdots&\ddots&\vdots \\ \frac{\partial{y_1}}{\partial{x_n}}&\frac{\partial{y_2}}{\partial{x_n}}&\cdots&\frac{\partial{y_m}}{\partial{x_n}} \\ \end{bmatrix}= \begin{bmatrix} a_{11} & a_{21} & \cdots & a_{n1} \\ a_{12} & a_{22} & \cdots & a_{n2} \\ \vdots & \vdots & \ddots & \vdots \\ a_{1m} & a_{2m} & \cdots\ & a_{nm} \\ \end{bmatrix} =A^T$

结论与推广

总结出几个向量偏导公式：

向量对向量求导

标量对向量求导

如果 $y=x^TAx$ 的话， $y$ 对向量 $x$ 求偏导的结果是：

如果这时有

A

是对称阵，则：

标量对方阵的求导

关于更多矩阵求导的详细概念

矩阵求导公式的数学推导（矩阵求导——基础篇） - Iterator的文章 - 知乎
https://zhuanlan.zhihu.com/p/273729929
矩阵求导的本质与分子布局、分母布局的本质（矩阵求导——本质篇） - Iterator的文章 - 知乎
https://zhuanlan.zhihu.com/p/263777564

最后编辑于：2021.02.26 22:30:21

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 217,826评论 6赞 506
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,968评论 3赞 395
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 164,234评论 0赞 354
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,562评论 1赞 293
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,611评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,482评论 1赞 302
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,271评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,166评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,608评论 1赞 314
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,814评论 3赞 336
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,926评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,644评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,249评论 3赞 329
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,866评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,991评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,063评论 3赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,871评论 2赞 354