MIT线性代数课程学习笔记总结

分享或转载请附文章链接：https://listen2099.github.io/blog/2018/10/21/线性代数学习总结/
分享或转载请附文章链接：https://www.jianshu.com/p/fd06f4d9b6ae
大家想学平易近人又有用版的线代可以去看bilibili宋浩老师的线性代数

第一讲

线性代数基础
求解线性方程组
n个未知数，n个方程

有方程组

$\left\{\begin{matrix} 2x-y=0\\ -x+2y=3 \end{matrix}\right.$

其矩阵形式：

$\begin{bmatrix} 2&-1\\ -1&2 \end{bmatrix}\cdot \begin{bmatrix} x\\ y \end{bmatrix}=\begin{bmatrix} 0\\ 3 \end{bmatrix}$
$\Rightarrow \vec{A}\cdot \vec{x}=\vec{b}$

row picture:在平面中每个方程在平面中画成一条线，则每条线的交点就是方程组的解

column picture:在更高维度的空间中，矩阵A的每一列是一个向量，向量b就是矩阵A每一列的线性组合，向量x决定了线性组合的具体方式

所有向量所有的线性组合可以得到所有的右向量b

对于3个未知数3个方程的情况，三个向量都在同一平面内，只能得到二维中的所有右向量b，不能得到三维中的所有又向量b，这时，矩阵A是奇异的、不可逆的；

以此类推，对于n个未知数n个方程的情况，如果有一个向量位于（n-1）个向量构成的“特殊平面内”，则矩阵A是奇异的、不可逆的。

这里可以理解为，某个向量可以由其他向量的线性组合得到，说明这个向量根本没有出力

第二讲

消元法求解方程
利用矩阵语言描述消元——矩阵变换

消元的步骤：写出增广矩阵[Ab]，将每一行主元以下的元素，通过 “该行元素-消元乘数×主元元素” 的方式化为0，然后，自下向上的回代得到方程组的解。

知识点：行列式=所有主元元素的乘积

利用矩阵进行消元：设计一个矩阵，进行 “该行元素-消元乘数×主元元素” 的操作：

列形式的矩阵乘法：

$\begin{bmatrix}col1 &col2&col3 \end{bmatrix}\cdot \begin{bmatrix}x\\y\\ z\end{bmatrix}=xcol1+ycol2+zcol3$

行形式的矩阵乘法：

$\begin{bmatrix}x &y &z \end{bmatrix}\cdot \begin{bmatrix}row1\\ row2\\ row3\end{bmatrix}=xrow1+yrow2+zrow3$

其中，多个行形式的行方向上的罗列就等同于一次行变换，

E_ij表示初等矩阵，表示，用该矩阵左乘原矩阵，可将原矩阵中i行j列的元素化为0

E₃₂E₂₁A=U ==> EA=U, E 就称为置换矩阵

第三讲

矩阵乘法
逆的求法

方法一：

原始方法：
$[A\cdot B]_{ij} = \sum_{k=1}^{n}a_{ik}b_{kj}$
，n为A的列、B的行数。

方法二：

利用矩阵×列的思想，将AB=C中，C的每一列视为，A在B的每一列下的线性组合。

方法三：

利用行×矩阵的思想，将AB=C中，C的每一行视为，B在A的每一行下的线性组合。

方法四：

AB=A中各列与B中各行的乘积之和

行空间：所有行的线性组合

列空间：所有列的线性组合

方法五：

将矩阵分块，将每一块视为一个单元，进行整体的矩阵乘法

逆（方阵）

如果存在A^-1使得A^-1A=I，则A是可逆的、非奇异的，且A^-1使得A^-1A=I=AA^-1。

奇异矩阵：没有逆，若能找到一个非0向量x，使得Ax=0，则没有逆矩阵，A是奇异的。

现在主要讨论可逆的情况：

Gauss-Jordan：同时处理两个方程

E[A|I] ==> [I|E]

说明：A经过E的变换变成I，同时，I经过E的变换变成E，则后半部分E的位置一定是A^-1

第四讲

两个可逆矩阵乘积的逆
消元矩阵的乘法
A消元得到U，A=LU

(AB)^-1=B^-1A^-1

(AB)^T=B^TA^T

(A^T)^-1=(A^-1)^T

EA=U,A=LU，则L=E^-1，且L为下三角矩阵，U为上三角矩阵；U可进一步分解为DU，D为对角矩阵

对于A=LU，若不存在行互换，则消元乘数可以直接写进L中

应这样看待消元：对A进行消元，则得到LU，L为消元步骤，U为消元结果

置换矩阵

置换矩阵P包括，单位矩阵所有行的所有排列的集合，对于置换矩阵P，P^-1=P^T，它的逆和转置相同。

第五讲

置换
转置
向量空间极其子空间

置换矩阵：P，主元为0时需要行互换得到非0主元

在A=LU过程中m，若需要行互换，则概括为PA=LU，对于任意可逆矩阵都有以上形式。

置换矩阵P是I的行排列情况的z所有情况，共有n!种可能，且P^-1=P^T。

转置：(A^T)_ij = A_ji

对称矩阵： A^T = A

R^TR得到的矩阵都是对称矩阵，证明：(R^TR)^T = R^TR^T^T = R^TR

向量空间： 例子：Rⁿ表示n维实向量，向量有n个分量，且每个分量都是实数。

向量空间必须对数乘、和加法两种运算是封闭的

Rⁿ的子空间：

Rⁿ本身
穿过0点，两端无限延伸的直线
穿过0点的(n-1)维“超级平面”
只包含0向量

矩阵的子空间：列向量的所有线性组合构成子空间 --> 列空间C(A)

第六讲

向量空间及其子空间
矩阵A的列空间
矩阵A的0空间

向量空间： 一些向量，相加数乘后的结果任在原空间内

子空间： 向量空间内的一些向量，他们属于母空间，但自身又构成向量空间

所有子空间必须包含0点

A的列空间，C(A)，所有列的线性组合

什么样的b能使得方程有解？所有的线性组合使得方程有解

0空间： 是一种完全不同的子空间，0空间包含Ax=0中所有的解x

第七讲

计算0空间
主变量、自由变量
简化行阶梯形式（rref）

消元过程中，方程组的解不变，则0空间不变。

消元中s主元为0，说明该列是前几列的线性组合

秩(r):d主元的数量

主元所在的列为主列（r），除此之外其他列为自由列（n-r），可以自由或任意的为自由列分配数值

通过分配自由值+回代得到特解，通过特解能构建出整个0空间，0空间就是特解得线性组合

秩r为主变量个数，n-r为自由变量个数

简化的行阶梯形式：

消元之后，令主元上下都是0，将主元化为1。

$R=\begin{bmatrix}I &F \\ 0 &0\end{bmatrix}$

简化形式提供的信息：

主列、主行
都为0的行表示该行原来是其他行的线性组合
单位阵I：主行主列交汇处
自由阵F

0空间矩阵：其每一列由特解组成，记做N。

$N = \begin{bmatrix}-F\\I \end{bmatrix}$

N中的I是按照F的列分配形成的单位阵

第八讲

线性方程组的完整解Ax=b

是否有解需要消元确认

r=m=n时，1个解

$R=\begin{bmatrix}1 &0 \\ 0& 1\end{bmatrix}$

r=n<m时，无解或 1解

$R=\begin{bmatrix}I\\0 \end{bmatrix}$

r=m<n时，无穷解

$R=\begin{bmatrix}I &F \end{bmatrix}$

r<n,r<m时，0解或无穷解

$R=\begin{bmatrix}I &F \\ 0 &0\end{bmatrix}$

第九讲

线性相关性
生成空间
基和维数

当V1，...Vn为矩阵A的列，在一个m维空间内，可直接判断向量组的相关性：

若A的0空间只有0向量，则向量组线性无关 --> r=n

若A的0空间还有除0向量之外的其他向量，则线性相关 --> r<n (有free变量)

生成空间： 包含所有线性无关向量组的线性组和

向量空间的一组基： 满足两个性质：1，线性无关；2，可生成整个空间

矩阵的秩r = 主列的数目 = 列空间的维数

n-r = 自由列的数目 = 0空间的维数

第十讲

矩阵的4个基本子空间

列空间C(A)

零空间N(A)

行空间C(A^T)

左0空间N(A^T)

在Rⁿ中的有：

行空间C(A^T)

dim = r

基的构造：最简形式的前r行

零空间N(A)

dim = n-r

基的构造：不就是0空间的n-r个特解么

在R^m中的有：

列空间C(A)

dim = r

基的构造：列中线性无关的列

左零空间N(A^T)

dim = m-r

基的构造：AI -> RE ，R中0行对应的E中的行向量

矩阵的基：上三角矩阵、对称矩阵、对角矩阵

第十一讲

矩阵空间
秩1矩阵
小世界图

矩阵空间可视为新的向量空间

设M为所有的3×3矩阵，则：

M的一组基为：

$\begin{bmatrix}1&0&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&1&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&1\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\1&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&1&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&1\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\1&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&1&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&0&1\end{bmatrix}$

所有3×3的S对称矩阵的维数为6：

$\begin{bmatrix}1&0&0\\0&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&1&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&0\\0&0&1\end{bmatrix}, \begin{bmatrix}0&1&0\\1&0&0\\0&0&0\end{bmatrix}, \begin{bmatrix}0&0&1\\0&0&0\\1&0&0\end{bmatrix}, \begin{bmatrix}0&0&0\\0&0&1\\0&1&0\end{bmatrix}$

所有3×3的U上三角矩阵的维数为6：

S∩U = D对角矩阵，dim(S∩U) = 3

S+U = S中的任何元素+U中的任何元素 = 所有的3×3矩阵 --> dim(S+U) = 9

dim(S) + dim(U) = dim(S∩U) + dim(S+U)

秩1矩阵

所有秩为1的矩阵可以表示为A=UV^T，一列点乘一行

dim(C(A)) = rank = dim(C(A^T))

若一个5×17的矩阵，秩为4，可将其分解为4个秩1矩阵的组合

两个矩阵的和的秩不大于两个矩阵的秩的和

第十二讲

图 = {nodes,edges}

利用关联矩阵描述具体问题的拓扑结构

欧拉公式：

nodes - #edges + #loops = 1

第十三讲

前一阶段的d复习

第十四讲

正交向量
子空间的正交
基的正交

正交向量：x^Ty = 0

0向量与任何向量都正交

子空间s与子空间T正交，说明，S中的每一个向量都和T中的每一个向量正交

正交的子空间一定不会交于某个非0的向量

行空间正交于零空间，行空间和0空间是Rⁿ中的正交补，0空间含有所有垂直于行空间的向量

求一个无解方程组的解：A^TAx = A^Tb

rank(A^TA) = rank(A)

N(A^TA) = N(A)

当且仅当0空间只有0向量，A的各列线性无关，A^TA为可逆的

第十五讲

投影
投影矩阵
最小二乘应用

二维投影：

a，b为不相关的向量，a上b的投影p=ax，e=b-p为b到a的误差

e=b-p=b-ax

关键是e⊥a，所以，a^Te=a^T(b-ax)=0，得：

x=(a^Tb)/(a^Ta) (1)

p=ax=a(a^Tb)/(a^Ta) (2)

投影矩阵P=(aa^T)/(a^Ta) (3)

投影的结果是一个投影矩阵，作用于某个向量，具有重要性质

列a为列空间的基
P^T=P，对称
P²=P

高维投影

有时Ax=b无解，只能求解最近的那个可解的问题，将问题换做求解 $A\widehat{x}=b$

p为b在列空间的投影，e=b-p为b到A的误差
$e=b-p=b-A\widehat{x}$ ，寻找合适的列组合，好让误差向量垂直于这个平面（误差最小）

关键还是e⊥A，所以， $A^{T}(b-A\widehat{x})=0,$ e在N(A^T)，e垂直C(A)，得：

$\widehat{x}=(A^{T}A)^{-1}A^{T}b (1)$

$p=A\widehat{x}=A(A^{T}A)^{-1}A^{T}b (2)$

P=A(A^TA)^-1A^T (3)

P的性质：

P^T=P
P²=P

应用

方程多，未知数hh少，m>n的线性最小二乘拟合

第十六讲

投影矩阵
最小二乘直线

投影矩阵P=A(A^TA)^-1A^T

如果b在C(A)中，则Pb=b

如果b⊥C(A)，则Pb=0

b在C(A)的投影为p，p为 $\widehat{x}$ 确定的线性组合；

b在N(A^T)的投影为e；

b=p+e=Pb+(I-P)b；e·p=0；e垂直于整个列空间

将原方程Ax=b经过 $A^{T}A\widehat{x} = A^{T}b$ 变换为正规方程

如果A的各列线性无关，则A^TA一定可逆

垂直的单位向量一定线性无关，即标准正交向量

第十七讲

正交基 q1...qn
正交矩阵（方阵才叫正交矩阵）
A->Q Gramm-Schmidt方法

标准正交向量有两个特点，相互正交，每个向量的模长都是1

q_i^T q_j= 0 ( i≠j )

q_i^T q_j= 1 ( i＝j )

Q^TQ = I

如果Q为方阵，那么Q^TQ=I说明Q^T=Q^-1

当Q是标准正交列向量的矩阵时，投影到列空间的投影矩阵是P = QQ^T

正规方程也简化为 $\widehat{x}=Q^{T}b$

Gramm-Schmidt方法：

先找到正交的向量： B = b-A^TbA/(A^TA)
再标准化，每个向量除以各自的模长

如果消元的过程是P=LU，那么A=QR，其中R是上三角矩阵

第十八讲

行列式

行列式是一个与每个方阵都有关的数字

可逆矩阵的行列式非0，DetA=0时，矩阵一定是可逆的

行列式的性质们：

1 单位阵的行列式为1

2 行交换时矩阵的行列式符号取反（一个置换矩阵的Det=-1 or 1）

3a $\begin{vmatrix}ta&tb\\c&d\end{vmatrix}=t\begin{vmatrix}a&b\\c&d\end{vmatrix}$

3b $\begin{vmatrix}a+a'&b+b'\\c&d\end{vmatrix}=\begin{vmatrix}a&b\\c&d\end{vmatrix}+\begin{vmatrix}a'&b'\\c&d\end{vmatrix}$

4 任意两行相等时 Det = 0

5 经过初等变换的行列式不变

6 若有一行全为0，则DetA=0

7 DetU为对角线的乘积，若消元过程中发生了行互换，需要相应改变符号

8 当且仅当A为奇异矩阵的时候DetA=0

9 Det(AB) = DetA * DetB ; Det(A^T) = 1/DetA

10 DetA^T = DetA

第十九讲

行列式公式
代数余子式

DetA = ∑ (-1)^ta_1αa_2βa_3γ... ...a_nθ

α，β，γ,... ...θ为1~n的全部排列情况，t为相应排列情况下的逆序数

余子式：M_ij 为原矩阵去除第i行j列后剩下的矩阵的行列式

代数余子式：A_ij = (-1)^i+jM_ij

第二十讲

求逆公式
莫拉克法则

A^-1 = (1/DetA)C^T

C为A的代数余子式构成的矩阵，C^T为A的伴随阵

Ax=b

-> x=A^-1b

-> x=(1/DetA)C^Tb

x_n = DetB_n/DetA

B_n为一个矩阵，是将A的第n列替换成b形成的矩阵

第二十一讲

特征值
特征向量

对于方阵，找出特殊的向量和数字，使得Ax = λx

矩阵A作用在向量x上，若结果是λx，就说明Ax与x平行，这样的x就是矩阵的特征向量，对应的λ就是特征值。

特征值为0的特征向量就是N(A)

特殊例子：

对于投影矩阵，

任意平面上的向量x就是一个特征向量（Px=x），λ=1；

任意垂直于平面的向量x，Px=0x，λ=0。

对于置换矩阵，λ=±1

n×n矩阵有n个特征值
特征值的和等于对角线元素的和，也就是迹
特征值的乘积等于行列式的值

求解特征值和特征向量：

Ax=λx -> (A-λI)x=0

由于奇异，Det(A-λI)=0得到λ，有了λ，通过求(A-λI)的零空间的基得到相应的特征向量

对于Ax=λx，则(A+aI)x=λx+ax=(λ+a)x

第二十二讲

特征值和特征向量的使用
对角化

假设A有n个线性无关的特征向量，按列排列，组成特征向量矩阵S

$AS=A\begin{bmatrix}x_{1} &x_{2} &x_{2} &...& x_{n}\end{bmatrix}$

$=\begin{bmatrix}\lambda _{1}x_{1} &\lambda _{2}x_{2} &\lambda _{3}x_{3} & ...&\lambda _{4}x_{4}\end{bmatrix}$

$=\begin{bmatrix}x_{1} &x_{2} &x_{3} &... & x_{n} \end{bmatrix}\begin{bmatrix}\lambda _{1} & & & & \\ &\lambda _{2} & & & \\ & &\lambda _{3} & & \\ & & &... & \\ & & & &\lambda _{n}\end{bmatrix}$

$=S\Lambda$

$ASS^{-1}=A=S\Lambda S^{-1}$

特征向量与特征值有助于了解矩阵的幂

$A^{n}=S\Lambda^{n}S^{-1}$

当λ_n的绝对值小于1，矩阵的幂趋于0，就说这个矩阵稳定。

不存在n个线性无关的特征向量就b不能对角化，若所有的λ不相同，则A必有n个线性无关的特征向量且可对角化；若存在重复的λ，可能但不一定存在n个线性无关的特征向量。

将某个向量化为矩阵特征向量的某个线性组合，有助于处理很多问题

第二十三讲

微分方程

常系数线性微分方程的解是指数形式

总之先构建常系数矩阵A，再求得A的特征值对角矩阵 $\Lambda$ 和特征向量矩阵S

有微分方程 $\frac{du}{dt}=Au$ ，其解的形式为：

$u(t)=S\begin{bmatrix}c1 & &\\ &c2 & \\ & &cn \end{bmatrix}\begin{bmatrix}e^{\lambda _{1}t} & & \\ &e^{\lambda _{2}t} & \\ & &e^{\lambda _{n}t} \end{bmatrix} = S \begin{bmatrix}c1 & &\\ &c2 & \\ & &cn \end{bmatrix} e^{\Lambda t}$

令上述 $u=Sv$

若 $\frac{du}{dt}=Au$ ，则 $S\frac{dv}{dt}=ASv$ ， $\frac{dv}{dt}=S^{-1}ASv=\Lambda v$

则 $\begin{cases} & v(t) = e^{\Lambda t}v(0) \\ & u(t) = e^{At}u(0) = Se^{\Lambda t}S^{-1}u(0)=e^{At}u(0) \end{cases}$

当S可逆的情况下 $e^{At}$ 可展开为泰勒级数

第二十四讲

马尔科夫矩阵、稳态
傅里叶级数

马尔科夫矩阵满足以下三个条件：

每个元素的值不小于0
每一列的和为1，这就保证有一个特征值为1
马尔科夫矩阵的幂还是马尔科夫矩阵

马尔科夫还有两个要点：

其他的特征值的绝对值小于1
在u_k=A^ku₀ 中，u_k=c₁x₁，当k无限大时，结果只与特征值为1的特征向量有关系。

对于一组标准正交基q_n，他们可以在任意的x向量线性组合下构成空间内部任意的向量v，

那么每一个系数x_n=q_n^Tv。

向量有向量的内积，则任意两个函数的内积同理为 $f^{T}g=\int_{0}^{\pi }f(x)g(x)dx$

这样对于一个傅里叶级数，它的每个系数的求法就和上述x_n的求法相同了，傅里叶真是牛逼，他把函数看成了无限的矩阵。

第二十五讲

对称阵
正定矩阵

对称阵的特征值是实数，特征向量中能挑选出来一组相互垂直的

通常 $A=S\Lambda S^{-1}$ ，若A为对称的，则S中的特征向量相互垂直，且取标准正交向量，则 $A=Q\Lambda Q^{-1}$

然而，Q有性质：Q^-1 = Q^T

所以，对称阵有分解： $A=Q\Lambda Q^{T}=q_{1}q_{1}^{T} \lambda_{1} +q_{2}q_{2}^{T}\lambda_{2}+... ...+q_{n}q_{n}^{T}\lambda _{n}$

每个对称阵都是一些相互垂直的投影矩阵的组合

对于对称阵，主元的符号与特征值的符号相同（符号个数相同），主元乘积（没有换行）= 特征值的乘积 = 行列式的值

对于正定矩阵，首先是一个对称阵，特征值为正数，主元为正数，所有子行列式为正数

第二十六讲

复数矩阵
快速傅里叶变换FFT

在Cⁿ空间中的向量组成的矩阵就是复矩阵。

模长、内积、对称、正交、正交矩阵的运算都要进行Hermition运算，也就是对共轭求转置

傅里叶矩阵的定义：

$F_{n}=\begin{bmatrix} 1 &1 &1 &\cdots &1 \\ 1 &w &w^{2} &\cdots&w^{n-1} \\ 1 & w^{2} &w^{4} &\cdots & w^{2(n-1)}\\ \vdots&\vdots&\vdots &\ddots & \\ 1 & w^{n-1} &w^{2(n-1)} & & w^{(n-1)^{2}} \end{bmatrix}$

其中 $w^{n} = 1$ , $w_{n}=e^{\frac{2\pi i}{n}}$

傅里叶矩阵的每一列都是正交的，除以模长后得到标准正交矩阵Q，根据性质 $F_{n}^{-1} = F_{n}^{H}$ ，方便的求自身的逆

得到一个n阶傅里叶矩阵的计算复杂度为1/2nlgn

第二十七讲

如何判断一个矩阵是正定的
Rⁿ空间中的椭圆体

对于一个对称阵，要让它正定，必须满足一下三个条件之一：

特征值都是正的
子行列式都是正的
主元都是正的
X^TAX > 0

以上条件有时候会出现恰好等于0的情况，这时候叫半正定，处于正定的临界点，此时矩阵很有可能是奇异矩阵

X^TAX是将矩阵转化为二次形式

判断二次形式大于0最直接的方法就是通过配方，将二次形配方为平方和的形式，配方后各项的系数就是主元。

在多维情况下，特征向量说明主轴的方向；特征值说明主轴的长度

第二十八讲

相似矩阵

由于逆矩阵的特征值与原矩阵的特征值之间是倒数关系，所以逆矩阵和原矩阵的正定情况是一样的

如果A，B都是正定的，则A+B也是正定的

当A为一个m*n的长方形矩阵时，A^TA为对称阵，且一定是也正定的。其中，当A的各列线性无关时，0空间只有0向量，此时，若x不为0向量，那就只会大于0

A与B相似指的是：存在一个可逆的矩阵M，使得B=M^-1AM

相似的点是：1具有相同的特征值，2无关的特征向量的数量也是一样的，且B的特征向量=M^-1x

每个方阵A都相似于一个若当方阵，若当方阵是由若挡块构成的矩阵，每个若挡块只有一个特征向量，若挡块的数量=特征向量的数量

第二十九将

奇异值分解

将任意矩阵行空间中的一组标准正交基V，变换成列空间中的一组标准正交基U

$AV_{i} = \sigma _{i}U_{i}$

矩阵形式：

AV = UΣ --> A = UΣV^-1 --> A = UΣV^T

A^TA的特征矩阵为V，特征向量为Σ²

AA^T的特征矩阵为U，特征向量为Σ²

注意：特征向量的符号要单独确定

V₁ 到 V_r 为行空间（r维）标准正交基
U₁ 到 U_r 为列空间（r维）标准正交基
V_r+1 到 V_n 为0空间（n-r维）标准正交基
U_r+1 到 U_m 为左0空间（m-r维）标准正交基

第三十讲

线性变换

线性变换可以理解为一个映射T，这种映射要满足T(V+W) = T(V)+T(W); T(cV) = cT(V)

T(V) = AV，不同矩阵代表不同的线性变换

矩阵源于坐标，坐标是一组基的线性组合的系数，用A乘输入坐标得到输出坐标

如何确定变换矩阵A：

确定输入基(V₁-V_n)和输出基(W₁-W_m)
A中第n列的确定：对V_n线性变换，变换结果T(V_n)一定是输出基的线性组合，组合的系数就是A的第n列

第三十一讲

基变换
图像压缩

将原图分割为8×8的小块，用傅里叶基，小波基来表示原来的图像向量，关键是如果使用了好的基，那新的线性组合的前几项就能代表原向量

好基要满足的条件：1. 计算块，求逆快，一般是用正交矩阵，转置直接得逆；2，少量向量就能接近原信号

设原向亮p，新基矩阵为W，则p=Wc，c=W^-1p，就是新的线性组合系数

关键：同一个线性变换T作用于同一个空间中不同的基矩阵，所得到的结果矩阵是相似的：B = M^-1AM，特征值组成的矩阵也是一个基矩阵

第三十二讲

左右逆
伪逆

两边都满足的逆的情况

r=m=n，满秩，方阵 A^-1A = I = AA^-1

左逆（A^-1_left）

r=n，列满秩，N(A) = 0

列向量线性无关，Ax=b有0个或1个解

A^TA (n*n)满秩，可逆

A^-1_left = (A^TA)^-1A^T

A^-1_leftA = (A^TA)^-1A^TA = I（n*n）

反过来乘 A(A^TA)^-1A^T为投影矩阵，投到A的列空间

又逆（A^-1_right）

r=m，行满秩，N(A^T) = 0

行向量线性无关，Ax=b有无穷解，n-m个自由变量

AA^T (m*m)满秩，可逆

A^-1_right = A^T(AA^T)^-1

AA^-1_right = AA^T(AA^T)^-1 = I （m*m）

反过来乘 A^T(AA^T)^-1A为投影矩阵，投到A的行空间

伪逆

r<n, r<m，此时4个子空间都不为0

如果A是行空间到列空间的映射，那么列空间到行空间的映射A⁺就是伪逆

求伪逆：

SVD分解：A = UΣV^T ; A⁺ = VΣ⁺U^T

第三十三讲

总复习

也是上过MIT的人了吗

最后编辑于：2020.04.28 15:41:20

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,029评论 6赞 492
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,395评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 157,570评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,535评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,650评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,850评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,006评论 3赞 408
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,747评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,207评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,536评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,683评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,342评论 4赞 330
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,964评论 3赞 315
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,772评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,004评论 1赞 266
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,401评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,566评论 2赞 349

MIT线性代数课程学习笔记总结

第一讲

有方程组

其矩阵形式：

第二讲

第三讲

方法一：

方法二：

方法三：

方法四：

方法五：

逆（方阵）

现在主要讨论可逆的情况：

第四讲

置换矩阵

第五讲

第六讲

所有子空间必须包含0点

第七讲

消元过程中，方程组的解不变，则0空间不变。

消元中s主元为0，说明该列是前几列的线性组合

秩(r):d主元的数量

主元所在的列为主列（r），除此之外其他列为自由列（n-r），可以自由或任意的为自由列分配数值

通过分配自由值+回代得到特解，通过特解能构建出整个0空间，0空间就是特解得线性组合

简化的行阶梯形式：

简化形式提供的信息：

0空间矩阵：其每一列由特解组成，记做N。

N中的I是按照F的列分配形成的单位阵

第八讲

是否有解需要消元确认

r=m=n时，1个解

r=n<m时，无解 或 1解

r=m<n时，无穷解

r<n,r<m时，0解或无穷解

第九讲

若A的0空间只有0向量，则向量组线性无关 --> r=n

若A的0空间还有除0向量之外的其他向量，则线性相关 --> r<n (有free变量)

矩阵的秩r = 主列的数目 = 列空间的维数

n-r = 自由列的数目 = 0空间的维数

第十讲

列空间C(A)

零空间N(A)

行空间C(AT)

左0空间N(AT)

在Rn中的有：

行空间C(AT)

零空间N(A)

在Rm中的有：

列空间C(A)

左零空间N(AT)

矩阵的基：上三角矩阵、对称矩阵、对角矩阵

第十一讲

矩阵空间可视为新的向量空间

dim(S) + dim(U) = dim(S∩U) + dim(S+U)

秩1矩阵

两个矩阵的和的秩不大于两个矩阵的秩的和

第十二讲

利用关联矩阵描述具体问题的拓扑结构

nodes - #edges + #loops = 1

第十三讲

第十四讲

0向量与任何向量都正交

rank(ATA) = rank(A)

N(ATA) = N(A)

第十五讲

二维投影：

投影的结果是一个投影矩阵，作用于某个向量，具有重要性质

高维投影

应用

第十六讲

如果b在C(A)中，则Pb=b

如果b⊥C(A)，则Pb=0

如果A的各列线性无关，则ATA一定可逆

垂直的单位向量一定线性无关，即标准正交向量

第十七讲

QTQ = I

当Q是标准正交列向量的矩阵时，投影到列空间的投影矩阵是P = QQT

如果消元的过程是P=LU，那么A=QR，其中R是上三角矩阵

第十八讲

可逆矩阵的行列式非0，DetA=0时，矩阵一定是可逆的

r=n<m时，无解或 1解

行空间C(A^T)

左0空间N(A^T)

在Rⁿ中的有：

行空间C(A^T)

在R^m中的有：

左零空间N(A^T)

rank(A^TA) = rank(A)

N(A^TA) = N(A)

如果A的各列线性无关，则A^TA一定可逆

Q^TQ = I

当Q是标准正交列向量的矩阵时，投影到列空间的投影矩阵是P = QQ^T

总之先构建常系数矩阵A，再求得A的特征值对角矩阵 $\Lambda$ 和特征向量矩阵S

相似的点是：1具有相同的特征值，2无关的特征向量的数量也是一样的，且B的特征向量=M^-1x

关键：同一个线性变换T作用于同一个空间中不同的基矩阵，所得到的结果矩阵是相似的：B = M^-1AM，特征值组成的矩阵也是一个基矩阵

左逆（A^-1_left）

又逆（A^-1_right）