特征值和特征向量
1 特征值分解与特征向量
特征值分解可以得到特征值(eigenvalues)与特征向量(eigenvectors)；
-
特征值表示的是这个特征到底有多重要，而特征向量表示这个特征是什么。
如果说一个向量
是方阵
的特征向量，将一定可以表示成下面的形式：
为特征向量对应的特征值。特征值分解是将一个矩阵分解为如下形式：
其中，
是这个矩阵的特征向量组成的矩阵，
是一个对角矩阵，每一个对角线元素就是一个特征值，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。也就是说矩阵的信息可以由其特征值和特征向量表示。
2 奇异值与特征值有什么关系
那么奇异值和特征值是怎么对应起来的呢？我们将一个矩阵的转置乘以，并对
求特征值，则有下面的形式：
V%20%3D%20%5Clambda%20V)
这里
就是上面的右奇异向量，另外还有：
这里的
就是奇异值，
就是上面说的左奇异向量。【证明那个哥们也没给】
奇异值跟特征值类似，在矩阵
中也是从大到小排列，而且的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上了。也就是说，我们也可以用前
（远小于
）个的奇异值来近似描述矩阵，即部分奇异值分解：
右边的三个矩阵相乘的结果将会是一个接近于的矩阵，在这儿，
越接近于
，则相乘的结果越接近于。
