前言

非奇异的"方阵"才能叫"可逆矩阵"，奇异的"方阵"叫"不可逆矩阵"！这是基础线性代数中的概念。现代应用中为了解决各种线性方程组(系数矩阵是非方阵和方阵为奇异)，将逆矩阵的概念推广到"不可逆方阵"和"长方形矩阵"上，从而产生了"广义逆矩阵"的概念！归根结底逆矩阵的初衷不变：为了解线性方程组。有了广义逆矩阵之后，可以给出线性方程组(包括相容的和矛盾的方程组)各种"解"的统一描述！

所以，广义逆矩阵把最基础、最原始的方阵逆矩阵情况也包含其中。

广义逆矩阵的概念

定义1：设矩阵 $A\in C^{m\times n}$ ，如果有矩阵 $X\in C^{\color{red}{n}\times \color{red}{m}}$ 满足下列4个Penrose方程

$AXA = A$
$XAX = X$
$(AX)^{H} = AX$
$(XA)^{H} = XA$

中的几个或者全部，则称矩阵X为A的广义逆矩阵！如果4个方程全都满足，则称矩阵X为矩阵A的Moore-Penrose逆。显然，如果A是可逆矩阵(方阵)，那么 $X = A^{-1}$ 一定4个方程都满足。

按照上面的定义，可以分为满足1个、2个、3个、4个方程的广义逆矩阵，共有15种：

$C^{1}_{4} + C^{2}_{4} + C^{3}_{4} + C^{4}_{4} = 15$

定理1：设 $A\in C^{m\times n}$ ，则A的Moore-Penrose逆存在且唯一！

定义2：我们一般把A的Moore-Penrose逆记为 $A^{+}$ ，也称为A的加号逆。

按满足条件的不同，15种广义逆中最常用的是下面5个：

$A\{1\}、A\{1,2\}、A\{1,3\}、A\{1,4\}、A^{+}$

不同的广义逆在不同的特定问题中可能有各自特殊的用途，但是作为一定存在且满足条件方程数最多加号逆，是最重要的！其在解线性方程组中的应用是本文关注的重点！

加号逆求法

求加号逆的方法有两种：奇异值分解(SVD)、满秩分解(FRD)。其中FRD的实现要简单的多！下面给出用满秩分解求加号逆的定理：

定理2：设 $A\in C^{m\times n}_{r}$ ，它的满秩分解为： $A = FG$ ，则加号逆的求法为：

$A^{+} = \color{red}{G^{H}(GG^ \color{blue}{H})^{-1}(F^{ \color{blue}{H}}F)^{-1}F^H}$

2点说明：

$A^{H}$ 表示的是A的共轭转置，即共轭+转置！如果没有复数元素就和转置一样；
满秩分解具体实现参考本文。

2条推理：

若A为行满秩，则 $A^{+} = A^{H}(AA^H)^{-1}$ ；
若A为列满秩，则 $A^{+} = (A^HA)^{-1}A^{H}$ ；

3条重要性质：

$(A^{+})^{+} = A$ ；
$(A^{+})^{H} = (A^{H})^{+}\quad (A^{+})^{T} = (A^{T})^{+}$ ；
$rank(A)=rank(A^{+})=rank(AA^{+})=rank(A^{+}A)$ ；

加号逆求解线性方程组

首先回顾一下任意线性方程组的解的判断：

不论正方形还是长方形方程组 $Ax=b$ ，都可以用"秩"来判断方程解的情况：

$Ax=b → \begin{cases} \color{red}{无解} & R(A) < R(A,b) \\ 唯一解 & R(A) = R(A,b) = n \\ \color{red}{无穷解} & R(A) = R(A,b) < n \end{cases}$

说明：

其中有解的方程组又可称为"相容方程组"，无解的方程组又可称为"矛盾方程组"！
相容方程组包括唯一解和无穷解的情况；
矛盾方程组的最小二乘解一般是不唯一的！所有最小二乘解中的极小(2)范数解是唯一的！所以我们一般求矛盾方程组的唯一极小范数最小二乘解。

下面给出4条关于加号逆在解线性方程组中的作用：

$Ax=b$ 有解(或相容)的充分必要条件为： $AA^{+} = b$ ；
$x = \color{red}{A^{+}b} + (I-A^{+}A)y\quad (y \in C^{n}任意)$ 是相容方程组 $Ax=b$ 的通解；或是矛盾方程组 $Ax=b$ 的全部最小二乘解；
$x_{0} = \color{red}{A^{+}b}$ 是相容方程组 $Ax=b$ 通解中唯一极小范数解；或是矛盾方程组 $Ax=b$ 的唯一极小范数最小二乘解；
若相容线性方法组 $Ax=b$ 有唯一解(方阵)，那么这个解就是： $x_{0} = \color{red}{A^{+}b}$ 。

下面对上面的4条说明进行举例验证：

例1(方程无解)：用广义逆矩阵方法判断下面的线性方程组是否有解。如果有唯一解，则求这个唯一解；如果有通解，则求通解和通解中的唯一极小范数解；如果无解，求全部的最小二乘解和其中唯一的极小范数最小二乘解：

$\begin{cases} 2x_1 + 4x_2 + x_3 + x_4 = 10 \\ x_1 + 2x_2 - x_3 + 2x_4 = 6 \\ -x_1 - 2x_2 - 2x_3 + x_4 = -7 \end{cases}$

首先用"秩"来判断方式解的情况：

$rank(A) = 2 < rank([A,b]) = 3$

所以是无解的！下面我们再用加号逆来判断一下解的情况：

$A^{+} = \left( \begin{matrix} 0.0606 & 0.0303 & -0.0303 \\ 0.1212 & 0.0606 & -0.0606 \\ 0.0303 & -0.1515 & -0.1818 \\ 0.0303 & 0.1818 & 0.1515 \end{matrix} \right)$

更具加号广义逆的方程解的判断：

$AA^{+}b = (11,5,-6)^{T} \neq b$

所以原方程是无解的！也说明用秩判断和用广义逆判断结果是一致的。

既然方程无解，那么我们可以求它的全部最小二乘解和其中的唯一的极小范数最小二乘解，根据上面4条的说明，先求全部最小二乘解：

$x = \color{red}{A^{ +}b} + (I-A^{+}A)y = \left( \begin{matrix} 1 \\ 2 \\ \frac{2}{3} \\ \frac{1}{3} \end{matrix} \right)+ \frac{1}{11}\left( \begin{matrix} 9 & -4 & -1 & -1 \\ -4 & 3 & -2 & -2 \\ -1 & -2 & 5 & 5 \\ -1 & -2 & 5 & 5 \end{matrix} \right) \left( \begin{matrix} y_1 \\ y_2 \\ y_3 \\ y_4 \end{matrix} \right)$

其中 $y_1,y_2,y_3,y_4 \in C 任意$ ，其中唯一的极小范数最小二乘解为：

$x_0 = \color{red}{A^{+}b} = (1,2,\frac{2}{3},\frac{1}{3})^{T}$

例2(方程无穷解)：求下面这个有无穷解的线性方程组的通解和唯一极小范数解：

$\begin{cases} x_1 - x_2 - x_3 + 4x_4 = 0 \\ x_1 - x_2 + x_3 - 3x_4 = 1 \\ x_1 - x_2 - 2x_3 + 3x_4 = -0.5 \end{cases}$

还是先用秩判断一下解的情况：

$rank(A) = 3 = rank([A,b]) < n = 4$

所以方程组有无穷解。下面用广义加号逆来求通解：

$x = \color{red}{A^{+}b} + (I-A^{+}A)y = \left( \begin{matrix} 0.25 \\ -0.25 \\ 0.5 \\ 0 \end{matrix} \right)+ \frac{1}{11}\left( \begin{matrix} 0.5 & 0.5 & 0 & 0 \\ 0.5 & 0.5 & 0 & 0 \\ 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 \end{matrix} \right) \left( \begin{matrix} y_1 \\ y_2 \\ y_3 \\ y_4 \end{matrix} \right)$