矩阵论-线性空间和广义拟, since 2021-01-17

线性空间和广义逆

(2021.01.17 Sun)

线性空间

这里仅限于讨论 $n \times 1$ 实数向量组成的线性空间，它是直观的二、三维向量空间的自然推广。

线性空间S是向量的一个集合，它对向量加法和数乘两种运算具有封闭性，即S中任意两个向量之和皆仍在S中，S中任一向量和任一实数的乘积也仍在S中，且满足加法结合律和交换律，数乘结合律和分配律等基本性质。
...
\placeholder

广义逆generalised inverse matrix

定义：对矩阵 $A_{m \times n}$ ，一切满足方程组 $AXA=A$ 的矩阵X，称为矩阵A的广义逆，记为 $A^-$ .

定理：设A为 $m \times n$ 矩阵， $rk(A) = r$ .若 $A=P\begin{pmatrix} I_r & 0 \\ 0 & 0 \end{pmatrix}Q$ ,这里P和Q分别是 $m\times m$ , $n\times n$ 的可逆阵，则 $A^- = Q^{-1} \begin{pmatrix} I_r & B \\ C & D \end{pmatrix}P^{-1}$ 这里的B, C和D为适当结束的任意矩阵。

推论：
(1) 对任意矩阵 $A$ ， $A^-$ 总是存在的；
(2) $A^-$ 唯一 $\Leftrightarrow$$A$ 为可逆方阵，此时 $A^- = A^{-1}$ ；
(3) $rk(A^-) \geq rk(A) = rk(A^-A)=rk(AA^-)$ ；
(4) 若 $\mathcal{M}(B) \subset \mathcal{M}(A), \mathcal{M}(C) \subset \mathcal(A'),$ 则 $C'A^-B$ 与 $A^-$ 的选择无关。

推论：
(1) $A(A'A)^-A'$ 与广义逆 $(A'A)^-$ 的选择无关；
(2) $A(A'A)^-A'A=A, A'A(A'A)^-A'=A'$

定理：
设 $Ax = b$ 为一相容方程组，则
(1) 对任一广义逆 $A^-$ ， $x=A^-b$ 必为解；
(2) 齐次方程组 $Ax=0$ 的通解为 $x=（I-A^-A)z$ ，这里 $z$ 为任意的向量， $A^-$ 为任意固定的一个广义逆；
(3) $Ax=b$ 的通解为 $x=A^-b+(I-A^-A)z,$ 其中 $A^-$ 为任一固定的广义逆， $z$ 为任意向量。

定理：
设 $Ax=b$ 为相容线性方程组，且 $b\ne 0$ ，那么当 $A^-$ 取遍 $A$ 的所有广义逆时， $x=A^-b$ 构成了该方程组的全部解。

定理：
设 $A=\begin{pmatrix} A_{11} & A_{12} \\ A_{21} & A_{22}\end{pmatrix}$ 可逆。若 $|A_{11}|\neq 0$ ，则 $A_{-1}=\begin{pmatrix} A_{11} & A_{12} \\ A_{21} & A_{22}\end{pmatrix} ^{-1} = \begin{pmatrix}A^{-1}_{11}+A^{-1}_{11}A_{12}A_{22.1}^{-1}A_{21}A_{11}^{-1} & -A^{-1}_{11}A_{12}A^{-1}_{22.1} \\ -A^{-1}_{22.1}A_{21}A_{11}^{-1} & A^{-1}_{22.1} \end{pmatrix}$ .若 $|A_{22}|\neq 0$ ，则
$A^{-1}=\begin{pmatrix} A^{-1}_{11.2} &-A^{-1}_{11.2}A_{12}A^{-1}_{22} \\ -A^{-1}_{22}A_{21}A^{-1}_{11.2} &A^{-1}_{22}+A^{-1}_{22}A_{21}A^{-1}_{11.2}A_{12}A^{-1}_{22} \end{pmatrix},$ 其中 $A_{22.1}=A_{22}-A_{21}A^{-1}_{11}A_{12}$ , $A_{11.2}=A_{11}-A_{12}A^{-1}_{22}A_{21}$

(2021.01.29 Fri)
奇异值分解singular value decomposition
定理：设矩阵 $A_{m\times n}$ 的秩为 $r$ ，记为 $rk(A)=r$ ，则存在两个正交方阵 $P_{m\times m}, Q_{n\times n}$ ，使 $A=P\left( \begin{array}{} \Lambda_r & 0 \\ 0 & 0 \end{array} \right) Q'$ 其中 $\Lambda_r = diag(\lambda_1,\lambda_2,\cdots,\lambda_r),\lambda_i >0,i=1,2,\cdots,r$ . $\lambda_i^2$ 是 $A'A$ 的非零特征根。
证明：因为 $A'A$ 是对称阵，故存在正交方阵 $Q_{n\times n}$ ，使得 $Q'A'AQ=\left( \begin{array} {} \Lambda_r^2 & 0 \\ 0 & 0\end{array} \right)$
记 $B=AQ$ ，则上式为 $B'B=\left( \begin{array} {} \Lambda_r^2 & 0 \\ 0 & 0\end{array} \right)$
说明 $B$ 的列向量相互正交，且前 $r$ 个列向量长度分别为 $\lambda_1,\lambda_2,\cdots,\lambda_r$ ，后 $n-r$ 个列向量为0向量，于是存在一个正交方阵 $P_{m\times m}$ ，使得 $B=P\left( \begin{array} {} \Lambda_r & 0 \\ 0 & 0\end{array} \right)$
再由 $B=AQ$ ，得证。

通常 $\lambda_1,\cdots,\lambda_r$ 称为 $A$ 的奇异值。

(2021.01.30 Sat)
另一种表达与推导：
矩阵 $A_{m\times n}$ ， $A'A$ 和 $AA'$ 都是对称阵，分别是 $n\times n$ 和 $m \times m$ 阶。若 $AA'=P\Lambda_1 P', A'A=Q\Lambda_2 Q'$ ，则矩阵 $A$ 的奇异值分解为 $A=P\Sigma Q$ 。其中矩阵 $P=(\vec p_1, \vec p_2,\cdots,\vec p_m)$ 的大小为 $m\times m$ ，列向量 $\vec p_1,\vec p_2,\cdots,\vec p_m$ 是矩阵 $AA'$ 的特征向量，也称为 $A$ 的左奇异向量；矩阵 $Q=(\vec q_1, \vec q_2,\cdots,\vec q_n)$ 的大小为 $n\times n$ ，列向量 $\vec q_1,\vec q_2,\cdots,\vec q_n$ 是矩阵 $A'A$ 的特征向量，也称为 $A$ 的右奇异向量；矩阵 $\Lambda_1, \Lambda_2$ 的尺寸分别为 $m\times m, n\times n$ ，两个矩阵对角线上的非零元素相同，也就是 $A'A$ 和 $AA'$ 的非零特征值相同。矩阵 $\Sigma$ 的尺寸为 $m\times n$ ，位于对角线上的元素称为奇异值。

令 $k=rk(A)$ ，有 $k\leq min(m,n)$ 。当 $m\neq n$ 时， $\Lambda_1$ 和 $\Lambda_2$ 的大小不同，但是他们对角线上的非零元素却相同。设 $\Lambda_1$ 和 $\Lambda_2$ 对角线上的非零元素分别是 $\lambda_1,\lambda_2,\cdots,\lambda_k$ ，这些特征值也都是非负，令矩阵 $\Sigma$ 对角线上的非零元素值是 $\sigma_1,\sigma_2,\cdots,\sigma_k$ ，则有 $\sigma_1=\sqrt\lambda_1,\sigma_2=\sqrt\lambda_2,\cdots,\sigma_k=\sqrt\lambda_k$ 也就是非零奇异值的平方对应着矩阵 $\Lambda_1$ (或 $\Lambda_2$ )的非零特征值。

广义逆的分解定理
设矩阵 $A$ 可做奇异值分解，则其广义逆 $A^+$ 有 $A^+=Q\left( \begin{array}{} \Lambda_r^{-1} & 0\\ 0&0 \end{array} \right)P'$ 且对任意矩阵 $A$ ， $A^+$ 唯一。
证明：通过广义逆的定义可证。

$A^+$ 的性质
$A^+$ 是一个特殊的 $A^-$ ，具有 $A^-$ 的全部性质，并有如下性质：

$(A^+)^+=A$
$(A^+)'=(A')^+$
$I\geq A^+A$
$rk(A^+)=rk(A)$
$A^+=(A'A)^+A'=A'(AA')^+$
$(A'A)^+=A^+(A')^+$
设 $a$ 是一个非零向量，则 $a^+=a' / ||a||^2$
$A$ 为对称方阵，可表示为 $A=P\left(\begin{array} {}\Lambda_r & 0 \\0 & 0 \end{array}\right)P'$ 这里 $P$ 是正交阵， $\Lambda_r = diag(\lambda_1,\lambda_2,\cdots,\lambda_r), \space r=rk(A)$ ，则有 $A^+=P\left( \begin{array} {} \Lambda_r^{-1} &0\\0&0 \end{array}\right)P'$

定理：在相容线性方程组 $Ax=b$ 的解集中， $x_0=A^+b$ 是长度最小者。
证略。

(2021.01.31 Sun)

幂等方阵idempotent matrix

定义
若方阵 $A_{n\times n}$ 满足 $A^2=A$ ，则称 $A$ 为幂等阵(idempotent matrix)。
定理和性质

幂等阵的特征根只能为0或1
对任意的矩阵 $A$
- $A^-A,AA^-,I-AA^-,I-A^-A$ 都是幂等阵
- $A^+A,AA^+,I-A^+A,i\I-AA^+$ 都是幂等阵
- 若 $A$ 是对称幂等阵，则 $A^+=A$
若 $A_{n\times n}$ 幂等，则 $tr(A)=rk(A)$
证明：设 $rk(A)=r$ ，则存在可逆方阵 $P,Q$ ，使得 $A=P\left( \begin{array} {} I_r & 0 \\ 0 & 0 \end{array} \right)$ 将 $P,Q$ 分块： $P=(P_1\vdots P_2)$ ，其中 $P_1$ 为 $n\times r$ 的矩阵， $Q=\left( \begin{array} {} Q_1\\Q_2\end{array}\right)$ ，其中 $Q_1$ 为 $r\times n$ 的矩阵，于是 $A=P_1Q_1$ 。同时，因为 $A^2=A$ ，得到 $\left(\begin{array}{}I_r & 0 \\ 0 & 0\end{array} \right)QP\left(\begin{array}{} I_r & 0 \\ 0 & 0\end{array} \right) = \left(\begin{array}{} I_r & 0 \\ 0 & 0\end{array} \right)$ 故 $Q_1P_1=I_r$ ，所以 $tr(A)=tr(P_1Q_1)=tr(Q_1P_1)=tr(I_r)=r=rk(A)$ 。得证。
$A_{n\times n}$ 幂等 $\iff$ $rk(A)+rk(I-A)=n$
设 $P_{n\times n}$ 是对称幂等阵， $rk(P)=r$ ，则存在秩为 $r$ 的 $A_{n_times r}$ ，使得 $P=A(A'A)^{-1}A'$

证明：由 $P$ 对称幂等，故存在正交阵 $R=(R_1\vdots R_2)$ ，使得 $P=R\left(\begin{array} {} I_r & 0 \\ 0 & 0 \end{array} \right)R'=(R_1 \space R_2)\left( \begin{array}{} I_r & 0 \\ 0 & 0 \end{array} \right)\left( \begin{array}{} R'_1\\R'_2 \end{array} \right)=R_1R'_1 =R_1(R'_1R_1)^{-1}R'_1$ 这里用到了 $R'_1R_1=I_r$ ，再令 $A=R_1$ ，定理得证。

Reference

王松桂等，线性模型引论，科学出版社
奇异值分解的揭秘

最后编辑于：2021.01.31 14:09:37

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 217,907评论 6赞 506
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,987评论 3赞 395
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 164,298评论 0赞 354
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,586评论 1赞 293
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,633评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,488评论 1赞 302
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,275评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,176评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,619评论 1赞 314
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,819评论 3赞 336
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,932评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,655评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,265评论 3赞 329
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,871评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,994评论 1赞 269
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,095评论 3赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,884评论 2赞 354