伪逆

对于 $m \times n$ 的矩阵 $A$ ，定义其伪逆 $A^+$ ，使得当 $A$ 为 $n$ 阶可逆方阵的时候，有 $A^+=A^{-1}$

矩阵的奇异值分解可以理解成从 $\mathbb{R}^{n}$ 到 $\mathbb{R}^{m}$ 的线性变换在不同基底下矩阵表示，接下来利用矩阵的奇异值分解来定义矩阵的伪逆，然后再利用矩阵的伪逆来讨论线性方程组 $Ax＝b$ 无解时的最小二乘解，线性代数的中心问题是求解线性方程组 $Ax=b$ ，最简单的情况是如果系数矩阵 $A$ 是 $n$ 阶的可逆矩阵，那么这时对于任意的 $n$ 维向量 $b$ ，线性方程组 $Ax=b$ 有唯一的解，这个解是 $A^{−1}b$ ，那这就启发去对于不可逆的矩阵或者是对于 $A_{m \times n}$ 的矩阵，我们来定义它的一个逆矩阵，那么这时候逆矩阵我们叫做伪逆或者是叫广义逆 。

伪逆的定义来自于奇异值分解

若 $A$ 可逆，则 $A^{-1} \mathbf{u}_{j} =\frac{1}{\sigma_{j}} \mathbf{v}_{j}$ $(1 \leq i \leq r=m=n)$

证明 $A^{-1} \mathbf{u}_{j}= \frac{1}{\sigma_{j}} \mathbf{v}_{j} \Rightarrow A A^{-1} \mathbf{u}_{j} =A\left(\frac{1}{\sigma_{j}} \mathbf{v}_{j}\right) =\frac{1}{\sigma_{j}} A \mathbf{v}_{j}$ ，再根据特征值分解中 $A \mathbf{v}_{j} =\sigma_{j} \mathbf{u}_{j}(1 \leq i \leq r =m=n)$ ，得 $A^{-1}A \mathbf{u}_{j} = \mathbf{u}_{j}$

对于 $A_{m \times n}$ ， $A^+U=VΣ^+$ ，即 $A^{+} \mathbf{u}_{j}=\frac{1}{\sigma_{j}} \mathbf{v}_{j}$ $(1 \leq i \leq r)$

$A A^{+}=\left(U \Sigma_{m \times n} V^{T}\right)\left(V\Sigma_{n \times m}^{+} U^{T}\right)=U \Sigma_{m \times n} \Sigma_{n \times m}^{+} U^{T}=U\left(\begin{array}{cc}{I_{r}} & {0} \\{0} & {0}\end{array}\right)_{m \times m} U^{T}$

1. $(A A^{+})^T=\left(U \Sigma_{m \times n} \Sigma_{n \times m}^{+} U^{T}\right)^T=U \Sigma_{m \times n} \Sigma_{n \times m}^{+} U^{T}=A A^{+}$

2. $A A^{+} = \mathbf{u}_{1} \mathbf{u}_{1}^{T}+\ldots+\mathbf{u}_{r} \mathbf{u}_{r}^{T}$

3. $A A^{+}$ 是把 $\mathbb{R}^{m}$ 中的向量投影到 $C(A)$ 的正交投影矩阵。

$\forall p \in \mathbb{R}^{m}$ ， $b=p+e$ ， $p \in C(A)$ ， $e \in N\left(A^{T}\right)$ ， $A A^{+} b=p$

U属于A的列空间

正交投影（直角投影）

$A^{+} A=\left(V \Sigma_{n \times m}^{+} U^{T}\right)\left(U \Sigma_{m \times n} V^{T}\right)=V\left(\begin{array}{cc}{I_{r}} & {0} \\{0} & {0}\end{array}\right)_{n \times n} V^{T}$

1. $(A^{+} A)^T=A^{+} A$

2. $A ^{+}A=\mathbf{v}_{1} \mathbf{v}_{1}^{T}+\ldots+\mathbf{v}_{r} \mathbf{v}_{r}^{T}$

3. $A ^{+}A$ 是把 $\mathbb{R}^{n}$ 中的向量投影到 $C(A^T)$ 的正交投影矩阵。

若 $r=n$ （A列满秩），则 $A A^{+}=U\left(\begin{array}{cc}{I_{r}} & {0} \\{0} & {0}\end{array}\right)_{m \times m} U^{T}$ , $A^+ A=VV^T=I_{n}$

若 $r=m$ （A行满秩），则 $A^{+} A=V\left(\begin{array}{cc}{I_{r}} & {0} \\{0} & {0}\end{array}\right)_{n \times n} V^{T}$ ， $A A^+=UU^T=I_{m}$

上面U和V都是一组各自空间中的单位正交基， $VV^T$ 或者 $UU^T$ 怎么就是正交投影矩阵了？印象中的投影矩阵好像不长这样啊？

其中 x_hat 为近似解，b不在列空间中

设 $A_{m \times n}$ ， $X_{n \times m}$ 满足如下全部（1~4）方程组，则称X为A的伪逆

上面已经证明过了

Ax=b有解

Ax=b无解

$Ax=b$ 无解表示 $\mathbf{b} \notin C(A)$

求近似解

这时候需要改求近似解 $\hat{x }$ ，使得 $||b-A\hat{x }||$ 最小（最小二乘解）

$\mathbf{e}=(\mathbf{b}-A \widehat{\mathbf{x}}) \perp C(A)$ ，

因为 $C(A) \oplus N\left(A^{T}\right)=\mathbb{R}^{m}$ ，所以 $\mathbf{e}=(\mathbf{b}-A \widehat{\mathbf{x}}) \in N\left(A^{T}\right)$ ，

因为 $0=A^{T}\mathbf{e}=A^{T} (\mathbf{b}-A \widehat{\mathbf{x}})=A^{T} \mathbf{b}-A^{T} A \widehat{\mathbf{x}}$ ，所以 $A^{T} A \widehat{\mathbf{x}}=A^{T} \mathbf{b}$

这个时候分为两种情况

1.（A列满秩），则 $r\left(A^{T} A\right)=r(A)=n$ 。即 $A^{T} A$ 可逆，于是又唯一最小二乘解 $\widehat{\mathbf{x}}=\left(A^{T} A\right)^{-1} A^{T} \mathbf{b}$

最小二乘唯一解

2.（A列相关），则 $r\left(A^{T} A\right)=r(A)<n$ 。正规方程 $A^{T} A \widehat{\mathbf{x}}=A^{T} \mathbf{b}$ 解不唯一，即最小二乘解不唯一

但是我们需要求 $\mathbf{e}$ 即误差最小的解！但是这时候 $A_{m×n}$ 不是列满秩不存在逆矩阵，于是自然地想到利用伪逆求解。

伪逆求解正规方程——最佳最小二乘解

$\mathbf{x}^{+}=A^{+} \mathbf{b}$ 为一个最小二乘解

证明 $A^{T} \mathbf{b}-A^{T} A \mathbf{x}^{+} = A^{T}\left(\mathbf{b}-A\mathbf{x}^{+}\right) =A^{T}\left(\mathbf{b}-AA^{+} \mathbf{b}\right)$ ，由于 $AA^{+}$ 是把 $\mathbb{R}^{m}$ 中的向量投影到 $C(A)$ 的正交投影矩阵，且列空间和左零空间正交。故 $\mathbf{e}= (\mathbf{b}-A A^{+} \mathbf{b}) \in N\left(A^{T}\right)$

$A^{T} \mathbf{b}-A^{T} A \mathbf{x}^{+}=A^{T}\left(\mathbf{b}-A A^{+} \mathbf{b}\right)=\mathbf{0}$

$A^{T} A \mathbf{x}^{+}=A^{T} \mathbf{b}$

在 $Ax=b$ 的所有最小二乘解中， $\mathbf{x}^{+}$ 的长度最小。称 $\mathbf{x}^{+}=A^{+} \mathbf{b}$ 为 $Ax=b$ 的最佳最小二乘解

证明设 $\hat{x }$ 也是 $A^{T} A \widehat{\mathbf{x}}=A^{T} \mathbf{b}$ 的一个解，即一个最小二乘解。于是，

$\begin{aligned}A^{T} A \hat{\mathbf{x}} &=A^{T} \mathbf{b} \\A^{T} A \mathbf{x}^{+} &=A^{T} \mathbf{b}\end{aligned} \Rightarrow A^{T} A\left(\hat{\mathbf{x}}-\mathbf{x}^{+}\right)=\mathbf{0} \Rightarrow \hat{\mathbf{x}}-\mathbf{x}^{+} \in N\left(A^{T} A\right)=N(A)$

而 $\mathbf{x}^{+}= A^{+} \mathbf{b} \in C(A^T)$ ，故 $\mathbf{x}^{+} \perp \widehat{\mathbf{x}}-\mathbf{x}^{+}$ ， $\Rightarrow\|\widehat{\mathbf{x}}\|^{2}=\left\|\left(\hat{\mathbf{x}}-\mathbf{x}^{+}\right)+\mathbf{x}^{+}\right\|^{2}=\left\|\hat{\mathbf{x}}-\mathbf{x}^{+}\right\|^{2}+\left\|\mathbf{x}^{+}\right\|^{2} \geq\left\|\mathbf{x}^{+}\right\|^{2}$

最后编辑于：2021.08.01 07:55:18

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 214,504评论 6赞 496
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,434评论 3赞 389
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 160,089评论 0赞 349
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,378评论 1赞 288
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,472评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,506评论 1赞 292
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,519评论 3赞 413
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,292评论 0赞 270
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,738评论 1赞 307
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,022评论 2赞 329
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,194评论 1赞 342
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,873评论 5赞 338
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,536评论 3赞 322
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,162评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,413评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,075评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,080评论 2赞 352

伪逆

推荐阅读更多精彩内容