转自：（数学概念）矩阵的逆、伪逆、左右逆，最小二乘，投影矩阵 - AndyJee - 博客园
主要内容：
矩阵的逆、伪逆、左右逆
矩阵的左逆与最小二乘
左右逆与投影矩阵
一、矩阵的逆、伪逆、左右逆
1、矩阵的逆
定义：
设A是数域上的一个n阶方阵，若在相同数域上存在另一个n阶矩阵B，使得： AB=BA=I。 则我们称B是A的逆矩阵，而A则被称为可逆矩阵。
可逆条件：
A是可逆矩阵的充分必要条件是，即可逆矩阵就是非奇异矩阵。（当
时，A称为奇异矩阵）
性质：
矩阵A可逆的充要条件是A的行列式不等于0。
可逆矩阵一定是方阵。
如果矩阵A是可逆的，A的逆矩阵是唯一的。
可逆矩阵也被称为非奇异矩阵、满秩矩阵。
两个可逆矩阵的乘积依然可逆。
可逆矩阵的转置矩阵也可逆。
矩阵可逆当且仅当它是满秩矩阵。
求逆方法：
伴随矩阵法、初等变换法
2、矩阵的伪逆和左右逆
伪逆矩阵：
伪逆矩阵是逆矩阵的广义形式。由于奇异矩阵或非方阵的矩阵不存在逆矩阵，但在matlab里可以用函数pinv(A)求其伪逆矩阵。基本语法为X=pinv(A),X=pinv(A,tol),其中tol为误差,pinv为pseudo-inverse的缩写：max(size(A))*norm(A)*eps。函数返回一个与A的转置矩阵A' 同型的矩阵X，并且满足：AXA=A,XAX=X.此时，称矩阵X为矩阵A的伪逆，也称为广义逆矩阵。pinv(A)具有inv(A)的部分特性，但不与inv(A)完全等同。 如果A为非奇异方阵，pinv(A)=inv(A)，但却会耗费大量的计算时间，相比较而言，inv(A)花费更少的时间。
伪逆矩阵求法：
A 为m*n矩阵，r代表矩阵的秩：
若矩阵A是方阵，且|A|!=0，则存在AA-1=E；
若A不是方阵，或者|A|=0，那么只能求A的伪逆，所谓伪逆是通过SVD计算出来的；
pinv(A)表示A是伪逆：
如果A列满秩，列向量线性无关，r=n，Ax=b为超定方程组，存在0个或1个解，那么
，因为
，因此也称为左逆；
如果A行满秩，行向量线性无关，Ax=b为欠定方程组，存在0个或无穷个解，那么
，因为
，因此也称为右逆；
如果秩亏损，那么只好先做奇异值分解
，U,V是正交阵，D是对角阵；然后取对角阵S，如果D(i,i)=0，那么S(i,i)=0，如果D(i,i)<>0，那么S(i,i)=1/D(i,i)。于是
；
二、矩阵的左逆与最小二乘
关于最小二乘可以参考：最小二乘的几何意义及投影矩阵http://www.cnblogs.com/AndyJee/p/5053354.html
其实，最小二乘就是一个超定方程组的求解问题，根据上述的了解，超定方程组的求解方法之一就是通过求伪逆的形式，具体来说就是求左逆。即：
最小二乘也可以从几何的角度来考虑，那就是下面要说的投影矩阵。
三、左右逆与投影矩阵
左逆中，
，如果将左逆写在A右边将得不到单位矩阵了，那么
是什么？是在A矩阵列空间（A矩阵各列张成的子空间）投影的投影矩阵，它会尽量靠近单位矩阵，一个投影矩阵很想成为单位矩阵，但不可能做到。
右逆中，
，如果将右逆写在A左边也不是单位矩阵了，那
是什么？是在A矩阵行空间（A矩阵各行张成的子空间）投影的投影矩阵。
四、参考文章
http://shijuanfeng.blogbus.com/logs/206966888.html
