主要分以下几个方面进行说明:
一、矩阵分解
二、线性最小二乘
三、非线性最小二乘
四、直接稀疏矩阵方法
五、迭代方法
一、矩阵分解
1.奇异值分解(SVD)
奇异值分解可将任意实数矩阵
分解成如下形式:
其中,,矩阵
和
是正交矩阵,即
和
。其中
主对角线上的值为矩阵
的奇异值,所有奇异值均是非负的,并按照降序排列。如果仅有前r个奇异值是正的,那么矩阵A的秩即为r,同时SVD下标可用r取代。
引用自《计算机视觉-算法与应用》
应用
1.求伪逆(求解线性最小平方、最小二乘问题):
若矩阵的奇异值分解为
,那么
的伪逆为
,其中
是
的伪逆,将原矩阵主对角线上每个非零元素求倒数之后再转置得到。
2.矩阵近似值(PCA降维):
PCA算法的作用是把数据集映射到低维空间,数据集的特征值(在SVD中用奇异值表征)按照重要性排列,降维的过程就是舍弃不重要的特征向量的过程,而剩下的特征向量组成的空间即为降维后的空间。
2.特征值分解
如果矩阵是对称阵
那么其特征值分解的形式:
这里是特征向量,
是特征值且
其中对称阵可以通过一系列外积之和来构造
在这种情况下,我们可以保证所有特征值都是非负的。
此时产生的矩阵是半正定矩阵,即对任意非0列向量
,存在
如果矩阵
满秩所有特征值均为正,称为对称正定矩阵(SPD)。
对称正定矩阵在数据统计分析中表示一组数据点围绕其中心
产生的协方差
矩阵的特征值和特征向量与
的奇异值和奇异向量有着紧密联系若有
则
由此我们可以知道
且矩阵
的左奇异向量就是矩阵
的特征向量。