矩阵论-线性空间和广义拟, since 2021-01-17

线性空间和广义逆

(2021.01.17 Sun)

线性空间

这里仅限于讨论 $n \times 1$ 实数向量组成的线性空间，它是直观的二、三维向量空间的自然推广。

线性空间S是向量的一个集合，它对向量加法和数乘两种运算具有封闭性，即S中任意两个向量之和皆仍在S中，S中任一向量和任一实数的乘积也仍在S中，且满足加法结合律和交换律，数乘结合律和分配律等基本性质。
...
\placeholder

广义逆generalised inverse matrix

定义：对矩阵 $A_{m \times n}$ ，一切满足方程组 $AXA=A$ 的矩阵X，称为矩阵A的广义逆，记为 $A^-$ .

定理：设A为 $m \times n$ 矩阵， $rk(A) = r$ .若 $A=P\begin{pmatrix} I_r & 0 \\ 0 & 0 \end{pmatrix}Q$ ,这里P和Q分别是 $m\times m$ , $n\times n$ 的可逆阵，则 $A^- = Q^{-1} \begin{pmatrix} I_r & B \\ C & D \end{pmatrix}P^{-1}$ 这里的B, C和D为适当结束的任意矩阵。

推论：
(1) 对任意矩阵 $A$ ， $A^-$ 总是存在的；
(2) $A^-$ 唯一 $\Leftrightarrow$$A$ 为可逆方阵，此时 $A^- = A^{-1}$ ；
(3) $rk(A^-) \geq rk(A) = rk(A^-A)=rk(AA^-)$ ；
(4) 若 $\mathcal{M}(B) \subset \mathcal{M}(A), \mathcal{M}(C) \subset \mathcal(A'),$ 则 $C'A^-B$ 与 $A^-$ 的选择无关。

推论：
(1) $A(A'A)^-A'$ 与广义逆 $(A'A)^-$ 的选择无关；
(2) $A(A'A)^-A'A=A, A'A(A'A)^-A'=A'$

定理：
设 $Ax = b$ 为一相容方程组，则
(1) 对任一广义逆 $A^-$ ， $x=A^-b$ 必为解；
(2) 齐次方程组 $Ax=0$ 的通解为 $x=（I-A^-A)z$ ，这里 $z$ 为任意的向量， $A^-$ 为任意固定的一个广义逆；
(3) $Ax=b$ 的通解为 $x=A^-b+(I-A^-A)z,$ 其中 $A^-$ 为任一固定的广义逆， $z$ 为任意向量。

定理：
设 $Ax=b$ 为相容线性方程组，且 $b\ne 0$ ，那么当 $A^-$ 取遍 $A$ 的所有广义逆时， $x=A^-b$ 构成了该方程组的全部解。

定理：
设 $A=\begin{pmatrix} A_{11} & A_{12} \\ A_{21} & A_{22}\end{pmatrix}$ 可逆。若 $|A_{11}|\neq 0$ ，则 $A_{-1}=\begin{pmatrix} A_{11} & A_{12} \\ A_{21} & A_{22}\end{pmatrix} ^{-1} = \begin{pmatrix}A^{-1}_{11}+A^{-1}_{11}A_{12}A_{22.1}^{-1}A_{21}A_{11}^{-1} & -A^{-1}_{11}A_{12}A^{-1}_{22.1} \\ -A^{-1}_{22.1}A_{21}A_{11}^{-1} & A^{-1}_{22.1} \end{pmatrix}$ .若 $|A_{22}|\neq 0$ ，则
$A^{-1}=\begin{pmatrix} A^{-1}_{11.2} &-A^{-1}_{11.2}A_{12}A^{-1}_{22} \\ -A^{-1}_{22}A_{21}A^{-1}_{11.2} &A^{-1}_{22}+A^{-1}_{22}A_{21}A^{-1}_{11.2}A_{12}A^{-1}_{22} \end{pmatrix},$ 其中 $A_{22.1}=A_{22}-A_{21}A^{-1}_{11}A_{12}$ , $A_{11.2}=A_{11}-A_{12}A^{-1}_{22}A_{21}$

(2021.01.29 Fri)
奇异值分解singular value decomposition
定理：设矩阵 $A_{m\times n}$ 的秩为 $r$ ，记为 $rk(A)=r$ ，则存在两个正交方阵 $P_{m\times m}, Q_{n\times n}$ ，使 $A=P\left( \begin{array}{} \Lambda_r & 0 \\ 0 & 0 \end{array} \right) Q'$ 其中 $\Lambda_r = diag(\lambda_1,\lambda_2,\cdots,\lambda_r),\lambda_i >0,i=1,2,\cdots,r$ . $\lambda_i^2$ 是 $A'A$ 的非零特征根。
证明：因为 $A'A$ 是对称阵，故存在正交方阵 $Q_{n\times n}$ ，使得 $Q'A'AQ=\left( \begin{array} {} \Lambda_r^2 & 0 \\ 0 & 0\end{array} \right)$
记 $B=AQ$ ，则上式为 $B'B=\left( \begin{array} {} \Lambda_r^2 & 0 \\ 0 & 0\end{array} \right)$
说明 $B$ 的列向量相互正交，且前 $r$ 个列向量长度分别为 $\lambda_1,\lambda_2,\cdots,\lambda_r$ ，后 $n-r$ 个列向量为0向量，于是存在一个正交方阵 $P_{m\times m}$ ，使得 $B=P\left( \begin{array} {} \Lambda_r & 0 \\ 0 & 0\end{array} \right)$
再由 $B=AQ$ ，得证。

通常 $\lambda_1,\cdots,\lambda_r$ 称为 $A$ 的奇异值。

(2021.01.30 Sat)
另一种表达与推导：
矩阵 $A_{m\times n}$ ， $A'A$ 和 $AA'$ 都是对称阵，分别是 $n\times n$ 和 $m \times m$ 阶。若 $AA'=P\Lambda_1 P', A'A=Q\Lambda_2 Q'$ ，则矩阵 $A$ 的奇异值分解为 $A=P\Sigma Q$ 。其中矩阵 $P=(\vec p_1, \vec p_2,\cdots,\vec p_m)$ 的大小为 $m\times m$ ，列向量 $\vec p_1,\vec p_2,\cdots,\vec p_m$ 是矩阵 $AA'$ 的特征向量，也称为 $A$ 的左奇异向量；矩阵 $Q=(\vec q_1, \vec q_2,\cdots,\vec q_n)$ 的大小为 $n\times n$ ，列向量 $\vec q_1,\vec q_2,\cdots,\vec q_n$ 是矩阵 $A'A$ 的特征向量，也称为 $A$ 的右奇异向量；矩阵 $\Lambda_1, \Lambda_2$ 的尺寸分别为 $m\times m, n\times n$ ，两个矩阵对角线上的非零元素相同，也就是 $A'A$ 和 $AA'$ 的非零特征值相同。矩阵 $\Sigma$ 的尺寸为 $m\times n$ ，位于对角线上的元素称为奇异值。

令 $k=rk(A)$ ，有 $k\leq min(m,n)$ 。当 $m\neq n$ 时， $\Lambda_1$ 和 $\Lambda_2$ 的大小不同，但是他们对角线上的非零元素却相同。设 $\Lambda_1$ 和 $\Lambda_2$ 对角线上的非零元素分别是 $\lambda_1,\lambda_2,\cdots,\lambda_k$ ，这些特征值也都是非负，令矩阵 $\Sigma$ 对角线上的非零元素值是 $\sigma_1,\sigma_2,\cdots,\sigma_k$ ，则有 $\sigma_1=\sqrt\lambda_1,\sigma_2=\sqrt\lambda_2,\cdots,\sigma_k=\sqrt\lambda_k$ 也就是非零奇异值的平方对应着矩阵 $\Lambda_1$ (或 $\Lambda_2$ )的非零特征值。

广义逆的分解定理
设矩阵 $A$ 可做奇异值分解，则其广义逆 $A^+$ 有 $A^+=Q\left( \begin{array}{} \Lambda_r^{-1} & 0\\ 0&0 \end{array} \right)P'$ 且对任意矩阵 $A$ ， $A^+$ 唯一。
证明：通过广义逆的定义可证。

$A^+$ 的性质
$A^+$ 是一个特殊的 $A^-$ ，具有 $A^-$ 的全部性质，并有如下性质：

$(A^+)^+=A$
$(A^+)'=(A')^+$
$I\geq A^+A$
$rk(A^+)=rk(A)$
$A^+=(A'A)^+A'=A'(AA')^+$
$(A'A)^+=A^+(A')^+$
设 $a$ 是一个非零向量，则 $a^+=a' / ||a||^2$
$A$ 为对称方阵，可表示为 $A=P\left(\begin{array} {}\Lambda_r & 0 \\0 & 0 \end{array}\right)P'$ 这里 $P$ 是正交阵， $\Lambda_r = diag(\lambda_1,\lambda_2,\cdots,\lambda_r), \space r=rk(A)$ ，则有 $A^+=P\left( \begin{array} {} \Lambda_r^{-1} &0\\0&0 \end{array}\right)P'$

定理：在相容线性方程组 $Ax=b$ 的解集中， $x_0=A^+b$ 是长度最小者。
证略。

(2021.01.31 Sun)

幂等方阵idempotent matrix

定义
若方阵 $A_{n\times n}$ 满足 $A^2=A$ ，则称 $A$ 为幂等阵(idempotent matrix)。
定理和性质

幂等阵的特征根只能为0或1
对任意的矩阵 $A$
- $A^-A,AA^-,I-AA^-,I-A^-A$ 都是幂等阵
- $A^+A,AA^+,I-A^+A,i\I-AA^+$ 都是幂等阵
- 若 $A$ 是对称幂等阵，则 $A^+=A$
若 $A_{n\times n}$ 幂等，则 $tr(A)=rk(A)$
证明：设 $rk(A)=r$ ，则存在可逆方阵 $P,Q$ ，使得 $A=P\left( \begin{array} {} I_r & 0 \\ 0 & 0 \end{array} \right)$ 将 $P,Q$ 分块： $P=(P_1\vdots P_2)$ ，其中 $P_1$ 为 $n\times r$ 的矩阵， $Q=\left( \begin{array} {} Q_1\\Q_2\end{array}\right)$ ，其中 $Q_1$ 为 $r\times n$ 的矩阵，于是 $A=P_1Q_1$ 。同时，因为 $A^2=A$ ，得到 $\left(\begin{array}{}I_r & 0 \\ 0 & 0\end{array} \right)QP\left(\begin{array}{} I_r & 0 \\ 0 & 0\end{array} \right) = \left(\begin{array}{} I_r & 0 \\ 0 & 0\end{array} \right)$ 故 $Q_1P_1=I_r$ ，所以 $tr(A)=tr(P_1Q_1)=tr(Q_1P_1)=tr(I_r)=r=rk(A)$ 。得证。
$A_{n\times n}$ 幂等 $\iff$ $rk(A)+rk(I-A)=n$
设 $P_{n\times n}$ 是对称幂等阵， $rk(P)=r$ ，则存在秩为 $r$ 的 $A_{n_times r}$ ，使得 $P=A(A'A)^{-1}A'$

证明：由 $P$ 对称幂等，故存在正交阵 $R=(R_1\vdots R_2)$ ，使得 $P=R\left(\begin{array} {} I_r & 0 \\ 0 & 0 \end{array} \right)R'=(R_1 \space R_2)\left( \begin{array}{} I_r & 0 \\ 0 & 0 \end{array} \right)\left( \begin{array}{} R'_1\\R'_2 \end{array} \right)=R_1R'_1 =R_1(R'_1R_1)^{-1}R'_1$ 这里用到了 $R'_1R_1=I_r$ ，再令 $A=R_1$ ，定理得证。