向量求导及迹运算

1、向量求导

向量求导其本质和标量求导没有本质区别。
本文所有的公式推导其根本立足于以下公式：
$假设存在两个列向量\vec x和\vec y，其形状分别为m*1和n*1，则定义\\ \frac{\partial \vec y}{\partial \vec x}= \tag{*} \left[ \begin{matrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \cdots & \frac{\partial y_1}{\partial x_n} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \cdots & \frac{\partial y_2}{\partial x_n} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial y_m}{\partial x_1} & \frac{\partial y_m}{\partial x_2} & \cdots & \frac{\partial y_m}{\partial x_n} \\ \end{matrix} \right]$
本文所描述的公式均以公式 $(*)$ 作为证明基础。但在证明之前，首先明确一个概念，即所谓布局。

布局

布局在很多博客上都有不同的定义，比如某个博客定义如下：

分子布局（Numerator-layout）：分子为 y 或者分母为 xT (即，分子为列向量或者分母为行向量)
分母布局（Denominator-layout）：分子为 yT 或者分母为 x (即，分子为行向量或者分母为列向量)

我个人认为，布局本质上讲是一种规定，用以规定在运算过程中的描述方法，因为不同的描述方法可能存在不同。而与具体的分子分母如何关系不大。用我们定义的公式 $(*)$ 来说，我们公式定义的情况是传统认为的分子布局，而分母布局则是将公式中 $x$ 和 $y$ 的排布反过来，相当于做一次转置（这也解释了为什么分子布局和分母布局的结果正好差一个转置）。

公式推导

公式1

假设
$\vec y = A\vec x$
其中 $\vec y$ 和 $\vec x$ 形状分别为 $m*1$ 和 $n*1$ ， $A$ 是一个规模为 $m*n$ 的矩阵，且和 $\vec x$ 线性无关。这是我们的基础定义，后续公式如果不特别说明则沿用此定义。
则有：
$\frac{\partial \vec y}{\partial \vec x}=A\\$

证明：
对于 $y$ 的第 $i$ 个元素 $y_i$ ，有：
$y_i=\sum_{k=1}^na_{ik}x_k$
因此可得：
$\frac{\partial y_i}{\partial x_j}=a_{ij}$
则推广到所有的元素，易得
$\frac{\partial \vec y}{\partial \vec x}=A\\$

公式2

假设
$\vec y = A\vec x$
其中 $\vec y$ 和 $\vec x$ 形状分别为 $m*1$ 和 $n*1$ ， $A$ 是一个规模为 $m*n$ 的矩阵，且和 $\vec x$ 线性无关。如果 $\vec z$ 与 $\vec x$ 有函数关系，那么则有：
$\frac{\partial \vec y}{\partial \vec z}=A\frac{\partial \vec x}{\partial \vec z}\\$
证明：
对于 $y$ 的第 $i$ 个元素 $y_i$ ，有：
$y_i=\sum_{k=1}^na_{ik}x_k$
因此可得：
$\frac{\partial y_i}{\partial z_j}=\sum{k=1}^n a_{ik}\frac{\partial x_k}{\partial z_j}$
则推广到所有的元素，易证（事实上这跟标量求导里面的链式法则没什么区别）。

公式3

假设
$\alpha = \vec y^TA\vec x$
其中 $\vec y$ 和 $\vec x$ 形状分别为 $m*1$ 和 $n*1$ ， $A$ 是一个规模为 $m*n$ 的矩阵，且和 $\vec x$ 、 $\vec y$ 线性无关。那么则有：
$\frac{\partial \alpha}{\partial \vec x}= \vec y^TA$
$\frac{\partial \alpha}{\partial \vec y}= \vec x^TA^T$
证明：
定义 $\omega^T=y^TA$
则 $\alpha=\omega^T\vec x$
因此可得：
$\frac{\partial \alpha}{\partial \vec x}=\omega^T=\vec y^TA$
另一公式使用相似方法可证，只需要对 $\alpha$ 进行一次转置（标量的转置扔为自身）。

公式4（公式3特殊情况）

假设
$\alpha = \vec x^TA\vec x$
其中 $\vec x$ 形状分别为 $m*1$ ， $A$ 是一个规模为 $m*n$ 的矩阵，且和 $\vec x$ 线性无关。那么则有：
$\frac{\partial \alpha}{\partial \vec x}= \vec x^T(A+A^T)$
证明：
根据定义：
$\alpha=\sum_{j=1}^n\sum_{i=1}^na_{ij}x_ix_j$
则可以得到：
$\frac{\partial \alpha}{\partial x_k}=\sum_{j=1}^na_{kj}x_j+\sum_{i=1}^na_{ik}x_i$
推广到所有元素可得结论。

公式5（公式4特殊情况）

假设
$\alpha = \vec x^TA\vec x$
其中 $\vec x$ 形状分别为 $m*1$ ， $A$ 是一个规模为 $m*n$ 的矩阵，且和 $\vec x$ 线性无关，并且还是一个对称矩阵。那么则有：
$\frac{\partial \alpha}{\partial \vec x}= 2\vec x^TA$
证明：
这根本不需要证

公式6

假设
$\alpha = \vec y^T\vec x$
其中 $\vec y$ 和 $\vec x$ 形状分别为 $m*1$ 和 $n*1$ ，并且均为向量 $\vec z$ 的函数结果。那么则有：
$\frac{\partial \alpha}{\partial \vec z}= \vec x^T \frac{\partial \vec y}{\partial \vec z}+\vec y^T \frac{\partial \vec x}{\partial \vec z}$
证明：
还是标量求导法则的推广。

公式7（公式6的特殊情况）

假设
$\alpha = \vec x^T\vec x$
其中 $\vec y$ 和 $\vec x$ 形状分别为 $m*1$ 和 $n*1$ ，并且均为向量 $\vec z$ 的函数结果。那么则有：
$\frac{\partial \alpha}{\partial \vec z}= 2\vec x^T \frac{\partial \vec x}{\partial \vec z}$
证明：
还是标量求导法则的推广。

公式8

假设
$\alpha = \vec y^TA\vec x$
其中 $\vec y$ 和 $\vec x$ 形状分别为 $m*1$ 和 $n*1$ ，并且均为向量 $\vec z$ 的函数结果。那么则有：
$\frac{\partial \alpha}{\partial \vec z}= \vec x^TA^T \frac{\partial \vec y}{\partial \vec z}+\vec y^TA \frac{\partial \vec x}{\partial \vec z}$
证明：
参考公式3证明即可

公式9（公式8特殊情况）

假设
$\alpha = \vec x^TA\vec x$
其中 $\vec x$ 形状为 $n*1$ ，并且为向量 $\vec z$ 的函数结果。那么则有：
$\frac{\partial \alpha}{\partial \vec z}= \vec x^T(A+A^T) \frac{\partial \vec y}{\partial \vec z}$
证明：
不需要证

公式10（公式9特殊情况）

假设
$\alpha = \vec x^TA\vec x$
其中 $\vec x$ 形状为 $n*1$ ，并且为向量 $\vec z$ 的函数结果。并且A是对称的。那么则有：
$\frac{\partial \alpha}{\partial \vec z}= \vec 2x^TA\frac{\partial \vec y}{\partial \vec z}$
证明：
不需要证

公式11或者称为定义（矩阵求导）

设 $A$ 规模为 $m*n$ ， $\alpha$ 为一个标量，那么：
$假设存在两个列向量\vec x和\vec y，其形状分别为m*1和n*1，则定义\\ \frac{\partial A}{\partial \alpha}= \left[ \begin{matrix} \frac{\partial a_{11}}{\partial \alpha} & \frac{\partial a_{12}}{\partial \alpha} & \cdots & \frac{\partial a_{1n}}{\partial \alpha} \\ \frac{\partial a_{21}}{\partial \alpha} & \frac{\partial a_{22}}{\partial \alpha} & \cdots & \frac{\partial a_{2n}}{\partial \alpha} \\ \vdots & \vdots & \ddots & \vdots \\ \frac{\partial a_{m1}}{\partial \alpha} & \frac{\partial a_{m2}}{\partial \alpha} & \cdots & \frac{\partial a_{mn}}{\partial \alpha} \\ \end{matrix} \right]$

公式12

$\frac{\partial A^{-1}}{\partial \alpha}=-A^{-1}\frac{\partial A}{\partial \alpha}A^{-1}$

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,402评论 6赞 499
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,377评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,483评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,165评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,176评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,146评论 1赞 297
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,032评论 3赞 417
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,896评论 0赞 274
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,311评论 1赞 310
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,536评论 2赞 332
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,696评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,413评论 5赞 343
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,008评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,659评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,815评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,698评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,592评论 2赞 353