奇异值分解（Singular Value Decomposition，SVD）：
定义：
任意的实矩阵
都可以分解为：
其中，
是满足
的
阶酉矩阵（unitary matrix）；
是满足
的
阶酉矩阵；
的矩阵，其中_%7Bii%7D%3D%5Csigma_%7Bi%7D)
且其他位置的元素均为
，
为非负实数且满足
。
其中
的列向量
称为
的坐奇异向量，
的列向量
称为的右奇异向量，称为奇异值。
奇异值分解的用途：
如果想要描述好一个变换，那就描述这个变换主要的方向就行。特征值分解得到的
矩阵是一个对角举证，里面的特征值是由大到小的排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要到次要），当矩阵是高维的情况下，这个变换也同样有很多的变换方向，我们通过特征值分解得到的前
个特征向量，那么就对应了这个矩阵的最主要的个变化方向，但是特征值分解的局限，就是变化矩阵必须是方阵，对于非方阵而言，我们就只能进行奇异值分解。
而在实际中，大部分矩阵都不是方阵，奇异值分解就是用来解决这个问题的，奇异值分解是一个能适用于任意的矩阵的一种分解方法：
首先，将矩阵
就得到一个方阵，利用这个方阵得到：
v_%7Bi%7D%3D%5Clambda_%7Bi%7Dv_%7Bi%7D)
这里的
就是右奇异值向量，
奇异值
跟特征值类似，在矩阵中也是从大到小排列，而且的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上，也就是说可以用前
大的奇异值来近似描述矩阵。
