奇异值分解(singular value decomposition, SVD)是将矩阵分解为奇异值和奇异向量的一种矩阵分解方式。
什么是正交、标准正交和正交矩阵
如果向量和
满足
, 那么向量
和
互相正交。显然,零向量和任意向量之间相互正交。若两个向量都有非零范数,那么这两个向量的夹角是
。若相互正交的向量范数都为1,那么称它们是标准正交。正交矩阵的行向量和列向量分别标准正交。
矩阵的特征值和特征向量
设为
阶方阵,且存在实数
和
维非零向量
,使得
, 那么
为方针
的特征值,向量
为
的特征向量。
可以写成
, 有非零解的充要条件是系数行列式
定义
假设是一个
的矩阵,
是一个
的矩阵,
是一个
的矩阵,
是一个
的矩阵。 那么,
可分解成
, 其中
和
都定义成正交矩阵,
定义为对角矩阵。对角矩阵
对角线上的元素称为
的奇异值。矩阵
的列向量称为
的左奇异向量, 矩阵
的列向量称为
的右奇异向量。
-
的左奇异向量是
的特征向量,
的右奇异向量是
的特征向量
-
的非零奇异值是
特征值的平方根, 同时也是
特征值的平方根
用途
最有用的性质是可以将求逆操作扩展到非方矩阵上。