我们在数学课上学到的是如何如何 求特征值与特征向量。
在线性变换作用下，向量仅仅在尺度上变为原来的倍。称是线性变换的一个特征向量，是对应的特征值。
矩阵是一个表示二维空间的数组，矩阵可以看作是一个变换。在线性代数中，矩阵可以把一个向量变换到另一个位置，或者说从一个坐标系变换到另一个坐标系。矩阵的基，实际就是变换时所用的坐标系。
矩阵乘法对应了一个变换，是把任意一个向量变成另一个方向或长度都大多不同的新向量。在这个变换过程中，原向量主要发生旋转、伸缩的变化。如果矩阵对某一个向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸缩的比例就是特征值。
任给矩阵A，并不是对所有的向量X它都能拉长（缩短）。凡是能被矩阵A拉长（缩短）的向量就称为矩阵A的特征向量；拉长（缩短）的量就是这个特征向量对应的特征值。
一个矩阵可能拉长多个向量，因此它就可能有多个特征值。
实对称矩阵，不同特征值对应的特征向量必定正交。
一个变换矩阵的所有特征向量组成了这个变换矩阵的一组基。所谓基，可以理解为坐标系的轴。我们平常用到的大多是直角坐标系，在线性代数中可以把这个坐标系，扭曲、拉伸、旋转，成为及变换。我们可以按需求去设定基，但是基的轴之间必须是线性无关的，也就是保证坐标系的不同轴不要指向同一个方向或可以被别的轴组合而成，否则的话原来的空间就“撑”不起来了。在pca中，我们通过在拉伸最大的方向设基，忽略一些小的量，可以极大的压缩数据而减少失真。
一个变换可由一个矩阵乘法表示，那么一个空间坐标系也可视作一个矩阵，而这个坐标系就可由这个矩阵的所有特征向量表示，用图来表示的话，可以想象就是一个空间张开的各个坐标角度，这一组向量可以完全表示一个矩阵表示的空间的“特征”，而他们的特征值就表示了各个角度上的能量（可以想象成从各个角度上伸出的长短，越长的轴就越可以代表这个空间，它的“特征”就越强，或者说显性，而短轴自然就成了隐性特征），因此，通过特征向量/值可以完全描述某一几何空间这一特点，使得特征向量与特征值在几何（特别是空间几何）及其应用中得以发挥。
也就是说，求特征向量，就是把矩阵A所代表的空间进行正交分解，使得A的向量集合可以表示为每个向量a在各个特征向量上的投影长度。我们通常求特征值和特征向量即为求出这个矩阵能使哪些向量只发生拉伸，而方向不发生变化，观察其发生拉伸的程度。这样做的意义在于，看清一个矩阵在哪些方面能产生最大的分散度（scatter），减少重叠，意味着更多的信息被保留下来。
