线性代数学习总结-向量空间与子空间

这一节主要是说明几个向量空间，关系到后面正交矩阵、线性拟合等感性上的理解

向量空间

简而言之向量空间 $R^{n}$ 包含了所有含有 $n$ 个分量的向量。那向量空间内就很好理解了，就是任何 $R^{n}$ 空间内的向量，相加，乘以系数 $s$ （即线性组合），其结果依旧在这个空间内。

那么子空间呢？
子空间就是一组满足其线性组合依旧在该集合内的向量集合（包含0）

即 $v + w\quad 与\quad cv\quad$ 依旧在集合内

列空间

最重要的子空间直接跟矩阵 $A$ 相关。
对于 $Ax=b$
考虑如果A是非可逆矩阵，那么必然有一些 $b$ 是可解的，一些 $b$ 是不可解的，那么对于这些可解的 $b$ ，其只是矩阵 $A$ 中的列向量的线性组合。这些 $b$ 组成 $A$ 的列空间。
记做 $C(A)$

零空间

顾名思义，零空间就是 $Ax = 0$ 的时候，所有的解 $x$ 所组成的空间。
问题来了，对于可逆矩阵而言，零空间有几个向量？没错，答案就是1。因为对于可逆矩阵而言， $Ax=0$ 只有唯一 $x=0$ 这个解。
记做 $N(A)$

如何通过消元法求出所有的 $x$ 解呢？
如前文所述，线性组合就可以表示为向量空间，那么，对于表达式 $Ax=0$ 而言，必然存在 $>=1$ 个特殊解。用特殊解的线性组合就可以构造出所有的满足 $Ax = 0$ 的解，自然也就是零空间了。

举个栗子，矩阵 $C=\begin{bmatrix}1&2&2&4\\3&8&6&16\end{bmatrix}\qquad 消元后得到\qquad U=\begin{bmatrix}1&2&2&4\\0&2&0&4\end{bmatrix}$
对于消元法而言，主元素（也就是 $A_{ii}$ ）的值不能为0，上面消元后的结果中发现只有列1和列2主元素位置上的值不为0
意味着，U的另外两个元素可以随意取值，为了求解方便，分别取 $(0,1)$ 和 $(1,0)$ ，可以得到结果为
$S_1=\begin{bmatrix}-2\\0\\1\\0\end{bmatrix}\quad 以及\quad S_2=\begin{bmatrix}0\\-2\\0\\1\end{bmatrix}$
则所有的解 $x=cS_1+dS_2=c\begin{bmatrix}-2\\0\\1\\0\end{bmatrix}+d\begin{bmatrix}0\\-2\\0\\1\end{bmatrix}$ 即零空间了

矩阵 $A$ 的秩(rank)就是主元素(pivot)位置非零的数量，记做 $r$

求解 $Ax=b$

注意哦，这里的矩阵 $A$ 不一定是可逆矩阵呢。那么，如何求解出所有的 $Ax=b$ 的解呢？

假设 $x_p$ 表示矩阵 $A$ 的一个特解
假设 $x_n$ 表示矩阵 $A$ 的零空间
那么，解 $x=x_p + x_n$ ，因为 $Ax_p=b$ 而 $Ax_n=0$ 因此 $A(x_p+x_n)=b$

独立向量，基以及维数

独立向量就是矩阵中那些不能由其他列线性组合得到的列。这些独立向量构成了空间。因为依赖列其实没有起任何作用，他们可以由独立向量线性组合得到。

矩阵的基可以理解为一组满足条件1.相互独立2.构成整个空间的向量集合

例如3x3的矩阵的基为 $\begin{bmatrix}1&0&0\\0&0&0\\0&0&0\end{bmatrix}\begin{bmatrix}0&1&0\\0&0&0\\0&0&0\end{bmatrix}...\begin{bmatrix}0&0&0\\0&0&0\\0&0&1\end{bmatrix}$ 一共9个，其他的所有3x3矩阵皆可由这9个矩阵线性组合而来