矩阵论-矩阵导数和微商, since 2021-02-21

(2021-02-21 Sun)
*notes: 用小写字母 $x$ 表示标量，加粗的小写字母 $\boldsymbol{x}$ 表示向量，大写字母 $X$ 表示矩阵

自变量是标量，变量是向量

向量 $\boldsymbol{y} = (y_1,y_2,\cdots,y_n)'$ 是自变量(标量) $x$ 的向量函数，即 $\boldsymbol y = f(x)$ ，则 $\frac{\mathrm{d}\boldsymbol{y}}{\mathrm{d}x} = (\frac{\mathrm{d}y_1}{\mathrm{d}x}, \frac{\mathrm{d}y_2}{\mathrm{d}x}, \cdots, \frac{\mathrm{d}y_n}{\mathrm{d}x})'$
即 $n$ 维向量 $\boldsymbol y$ 对自变量 $x$ 的导数还是 $n$ 维向量，称为导数向量。

矩阵 $Y$ 是自变量(标量) $x$ 的函数，即 $Y=f(x)$ ，矩阵尺寸 $m\times n$ ，矩阵元素 $y_{ij}$ ，则该矩阵对 $x$ 的导数是 $\frac{\mathrm{d}Y}{\mathrm{d}x} = (\frac{\mathrm{d}y_{ij}}{\mathrm{d}x})_{m\times n}$
即尺寸是 $m\times n$ 的矩阵 $Y$ 对自变量 $x$ 的导数仍然是 $m\times n$ 的矩阵，称为导数矩阵。

(2021.02.22 Mon)

自变量是向量，变量是标量

自变量 $\boldsymbol{x}=(x_1,x_2,\cdots,x_n)'$ ， $y$ 是一个标量， $y$ 对 $\boldsymbol{x}$ 的微商定义为 $\frac{\partial y}{\partial\boldsymbol{x}}= \begin{bmatrix} \frac{\partial y}{\partial x_1} \\ \vdots \\ \frac{\partial y}{\partial x_n} \end{bmatrix}$

对于 $y=\boldsymbol{x}'A\boldsymbol{x}$ ，其中 $A$ 是 $n$ 阶方阵，求 $\frac{\partial{y}}{\partial{\boldsymbol{x}}}$ 。
首先计算 $y$ 对 $\boldsymbol{x}$ 中的 $x_i$ 的微商 $\frac{\partial y}{\partial x_i}$ ，有 $\frac{\partial y}{\partial x_i}=\frac{\partial{\boldsymbol{x}'A\boldsymbol{x}}}{\partial x_i}=\frac{\partial{\boldsymbol{x'}}}{\partial x_i}(A\boldsymbol{x})+\boldsymbol{x'}A\frac{\partial{\boldsymbol x}} {\partial{x_i}}=\boldsymbol{e_i'}A\boldsymbol{x}+\boldsymbol{x'}A\boldsymbol{e_i}$ 其中 $\frac{\partial{\boldsymbol{x'}}}{\partial{x_i}} = (0,0,\cdots,0,1,0,\cdots,0)=\boldsymbol{e_i'}$ 。注意到 $\boldsymbol{x'}A\boldsymbol{e_i}$ 是标量，有 $\boldsymbol{x'}A\boldsymbol{e_i}=(\boldsymbol{x'}A\boldsymbol{e_i})'=\boldsymbol{e_i'}A'\boldsymbol{x}$ 于是上面等式可简化为 $\frac{\partial y}{\partial x_i}=\boldsymbol{e_i'}(A+A')\boldsymbol{x}$
于是有 $\frac{\partial y} {\partial{\boldsymbol{x}}} = \begin{bmatrix} \boldsymbol{e_1'}(A+A')\boldsymbol{x} \\ \vdots \\ \boldsymbol{e_n'}(A+A')\boldsymbol{x} \end{bmatrix} = I_n(A+A')\boldsymbol{x} = (A+A')\boldsymbol{x}$
当 $A$ 是对称阵，上式简化为 $\frac{\partial y} {\partial{\boldsymbol{x}}} =2A\boldsymbol{x}$

(2021.02.23 Tues)
如果 $y=\boldsymbol{a'}\boldsymbol{x}$ ，其中的 $\boldsymbol{a,x}$ 都是 $n \times 1$ 的向量，求 $\frac{\partial y} {\partial x}$
首先考虑 $\frac{\partial{y} }{\partial{x_i}} =\frac{\partial{\boldsymbol{a'x}}} {\partial x_i } = \boldsymbol{a'} \frac {\partial{\boldsymbol{x} }} {\partial{x_i} } = \boldsymbol{a'} \boldsymbol{e_i}$ ，则
$\begin{align} \frac{ \partial{y}}{\partial{\boldsymbol{x}}} & = \begin{bmatrix} \boldsymbol{a'} \boldsymbol{e_1} \\ \vdots \\ \boldsymbol{a'} \boldsymbol{e_n} \end{bmatrix} = I' \boldsymbol{a} = \boldsymbol{a} \end{align}$
(2021.02.25 Thur)
标量对向量求导的一个应用是梯度(gradient)。 $y = f(\boldsymbol{x}), x=(x_1,x_2,x_3)$ ，则有 $\frac{\partial{f}} {\partial\boldsymbol{x}} =\nabla{f}(x_1,x_2,x_3) = grad f(x_1,x_2,x_3) = \frac{\partial f}{\partial x_1} \vec{i} + \frac{\partial f}{\partial x_2} \vec{j} + \frac{\partial f}{\partial x_3} \vec{k}$
这里 $\nabla = \frac{\partial }{\partial x_1} \vec{i} + \frac{\partial }{\partial x_2} \vec{j} + \frac{\partial }{\partial x_3} \vec{k}$ 称作(三维向量)微分算子或nabla算子。

自变量和变量都是向量

向量 $\boldsymbol{y}$ 是向量 $\boldsymbol{x}$ 的函数，有 $\boldsymbol{y}= f(\boldsymbol{x})$ ， $\boldsymbol{y}$ 和 $\boldsymbol{x}$ 的尺寸可能是 $n\times 1$ 或 $1 \times n$ ，求 $\frac{\partial\boldsymbol{y}}{\partial\boldsymbol{x}}$
方法：用向量 $\boldsymbol{y}$ 中的 $y_i$ 对 $\boldsymbol{x}$ 求导， $\frac{\partial{y_i}} {\partial\boldsymbol x}$ ，也就是 $\boldsymbol{y}$ 的每个元素 $y_i$ 对 $\boldsymbol{x}$ 的每个元素 $x_j$ 求导，其尺寸是 $\boldsymbol{x}$ 的尺寸。不同的 $\frac{\partial{y_i}} {\partial\boldsymbol x}$ 按 $\boldsymbol y$ 的尺寸排列，得到最终的导数结果。
如 $\boldsymbol{y}$ 的尺寸为 $1\times n$ ， $\boldsymbol{x}$ 的尺寸是 $m\times 1$ ，则 $\frac{\partial{y_i}} {\partial\boldsymbol x} = (\frac{\partial{y_i}} {\partial x_1},\frac{\partial{y_i}} {\partial x_2},\cdots,\frac{\partial{y_i}} {\partial x_m})'$ 而 $\frac{\partial\boldsymbol{y}} {\partial\boldsymbol{x}} = \begin{bmatrix} (\frac{\partial{y_1}} {\partial x_1},\frac{\partial{y_1}} {\partial x_2},\cdots,\frac{\partial{y_1}} {\partial x_m})' ,\cdots,(\frac{\partial{y_n}} {\partial x_1},\frac{\partial{y_n}} {\partial x_2},\cdots,\frac{\partial{y_n}} {\partial x_m})' \end{bmatrix}$
于是有
$\begin{align} \frac{\partial\boldsymbol{y}} {\partial\boldsymbol{x}} &= \begin{bmatrix} \frac{\partial{y_1}} {\partial x_1},\frac{\partial{y_2}} {\partial x_1}\cdots,\frac{\partial{y_n}}{\partial x_1}\\ \frac{\partial{y_1}} {\partial x_2},\frac{\partial{y_2,}} {\partial x_2},\cdots,\frac{\partial{y_n}} {\partial x_2} \\ \vdots \\ \frac{\partial{y_1}} {\partial x_m},\frac{\partial{y_2}} {\partial x_m},\cdots,\frac{\partial{y_n}} {\partial x_m} \end{bmatrix} \end{align}$
结果的尺寸是 $m\times n$ 。
(2021.02.25 Thur)
应用：Jacobi矩阵, Jacobian.
用极坐标表示点，如点 $(x,y)$ 的表示 $f(\gamma,\theta)$ 为 $x = \gamma cos(\theta), y = \gamma sin(\theta)$ ， $f(\gamma, \theta) = (x, y)$ 。横纵坐标对 $\gamma$ 和 $\theta$ 的导数(坐标变换的雅克比矩阵)为 $\boldsymbol{J}_F(\gamma,\theta)= \begin{bmatrix} \frac{\partial x} {\partial \gamma} & \frac{\partial x} {\partial \theta} \\ \frac{\partial y} {\partial \gamma} & \frac{\partial y} {\partial \theta} \end{bmatrix} = \begin{bmatrix} cos(\theta) & -\gamma sin(\theta) \\ sin(\theta) & \gamma cos(\theta) \end{bmatrix}$
可根据上面的结果求Jacobian行列式。
当同为向量的自变量和变量的尺寸不同时，得到的Jacobian矩阵不是方阵。

Reference

1 王松桂等，线性模型引论，科学出版社
2 高惠璇，应用多元统计分析

最后编辑于：2021.06.08 22:07:07

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 226,488评论 6赞 524
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 97,466评论 3赞 411
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 174,084评论 0赞 371
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 62,024评论 1赞 305
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 70,882评论 6赞 405
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 54,395评论 1赞 318
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 42,539评论 3赞 433
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 41,670评论 0赞 282
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 48,194评论 1赞 329
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 40,173评论 3赞 352
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 42,302评论 1赞 362
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 37,872评论 5赞 354
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 43,581评论 3赞 342
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 33,984评论 0赞 25
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 35,179评论 1赞 278
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 50,888评论 3赞 385
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 47,306评论 2赞 369

矩阵论-矩阵导数和微商, since 2021-02-21

自变量是标量，变量是向量

自变量是向量，变量是标量

自变量和变量都是向量

Reference

推荐阅读更多精彩内容