这一节主要是说明几个向量空间,关系到后面正交矩阵、线性拟合等感性上的理解
向量空间
简而言之向量空间包含了所有含有个分量的向量。那向量空间内就很好理解了,就是任何空间内的向量,相加,乘以系数(即线性组合),其结果依旧在这个空间内。
那么子空间呢?
子空间就是一组满足其线性组合依旧在该集合内的向量集合(包含0)
即 依旧在集合内
列空间
最重要的子空间直接跟矩阵相关。
对于
考虑如果A是非可逆矩阵,那么必然有一些是可解的,一些是不可解的,那么对于这些可解的,其只是矩阵中的列向量的线性组合。这些组成的列空间。
记做
零空间
顾名思义,零空间就是的时候,所有的解所组成的空间。
问题来了,对于可逆矩阵而言,零空间有几个向量?没错,答案就是1。因为对于可逆矩阵而言,只有唯一这个解。
记做
如何通过消元法求出所有的解呢?
如前文所述,线性组合就可以表示为向量空间,那么,对于表达式而言,必然存在个特殊解。用特殊解的线性组合就可以构造出所有的满足的解,自然也就是零空间了。
举个栗子,矩阵
对于消元法而言,主元素(也就是)的值不能为0,上面消元后的结果中发现只有列1和列2主元素位置上的值不为0
意味着,U的另外两个元素可以随意取值,为了求解方便,分别取和,可以得到结果为
则所有的解即零空间了
矩阵的秩(rank)就是主元素(pivot)位置非零的数量,记做
求解
注意哦,这里的矩阵不一定是可逆矩阵呢。那么,如何求解出所有的的解呢?
假设表示矩阵的一个特解
假设表示矩阵的零空间
那么,解,因为而因此
独立向量,基以及维数
独立向量就是矩阵中那些不能由其他列线性组合得到的列。这些独立向量构成了空间。因为依赖列其实没有起任何作用,他们可以由独立向量线性组合得到。
矩阵的基可以理解为一组满足条件1.相互独立2.构成整个空间的向量集合
例如3x3的矩阵的基为一共9个,其他的所有3x3矩阵皆可由这9个矩阵线性组合而来
空间的维数等于这个空间的基的数量
四个基础子空间
列空间
零空间
行空间
转置矩阵零空间
思考:各子空间的关系
直接放图