在本文中，我们通过探索线性变换与结果数据协方差之间的关系，提供协方差直观、几何解释。绝大部分教科书是基于协方差的矩阵概念来解释数据的形状。相反，我们采用向后的方法，用数据的形状来解释协方差矩阵的概念。
在之前的文章中，我们讨论了方差的概念，同时证明了样本方差。图一为标准差，标准差提供了一种衡量数据在特征空间的分布程度。
图一.高斯密度函数。对于正态分布的数据，68%的向本都分布在平均值正负标准差的区间内。
图二.对角线式的数据能通过协方差根号解释。
图三.协方差矩阵与数据形状之间的关系。对角线用协方差解释，坐标轴方向用方差解释。
协方差矩阵的特征值特点
在下一节中，我们将讨论如何将协方差矩阵解释为将白数据转换为我们能够观察数据的线性算子。在深入研究技术细节之前，重要的是要去直观地了解特征向量和特征值如何去唯一地定义协方差矩阵，从而确定数据的形状。
正如图三所示，协方差矩阵同时定义了我们数据的大小（方差量）和方向（协方差量）。所以，如果我们想用一个向量及其大小来表示协方差矩阵，我们应该简单尝试找到数据最大的扩展方向，其大小等于在此方向上的（方差）。
【注：翻译得不怎么好。我倾向于采用PCA的理解：找到最大的投影方差以表示整个投影矩阵】
换句话说，协方差最大的特征向量永远指向能够使得投影方差最大的方向，其方向向量大小刚好等于对应的特征值。第二大的特征向量总是与第一大特征向量正交，并指向数据第二大扩展方向。
【注：事实上，我对这个方差表示不熟悉，只能推出其值与特征值相同，但是其是否是最大存疑。】
下面我们将举例说明：
图四.协方差矩阵的特征向量及特征值
特征值和方差
通过比较图四和图五，特征值表示数据随特征向量方向的方差，同时，协方差的方差分量表示沿着坐标轴的扩散。如果不存在相关性，那么两个值都应该相等。
