协方差矩阵和散布（散度）矩阵

两者的关系：散度矩阵 = 协方差矩阵 ×（n-1）

协方差矩阵

对于二维随机变量（X，Y）之间的相互关系的数字特征，我们用协方差来描述，记为 Cov(X，Y)：
$Cov(x,y) = \frac{1}{n-1}\sum_{i=1}^{n}(X-\tilde{X})(Y-\tilde{Y})$
其中 $\tilde{X}$ 和 $\tilde{Y}$ 分别为变量的均值
那么二维随机变量（X，Y）的协方差矩阵为：
$C_{2*2} = \bigl(\begin{smallmatrix} c_{11} & c_{12}\\ c_{21} & c_{22} \end{smallmatrix}\bigr) = \bigl(\begin{smallmatrix} Cov_{X,X}& Cov_{X,Y}\\ Cov_{Y,X} & Cov_{Y,Y} \end{smallmatrix}\bigr)$

1. 注意协方差和协方差矩阵的区别，协方差是一个值，而所有维度的协方差构成的矩阵才是协方差矩阵
1. 协方差矩阵是一个对称矩阵，且是半正定矩阵，主对角线是各个随机变量的方差。
1. 标准差和方差一般是用来描述一维数据的；对于多维情况，而协方差是用于描述任意两维数据之间的关系，一般用协方差矩阵表示。因此协方差矩阵计算的是不同维度之间的协方差，而不是不同样本之间的。

协方差矩阵的几何意义

为了更好理解协方差矩阵的几何意义，下面以二维正态分布图为例：

均值 $u = [0,0]$ , 协方差矩阵为 $c = \begin{bmatrix} 5 & 0 \\ 0&1 \end{bmatrix}$ ，则样本分布图的 XOY 平面是椭圆形，主轴方向平行水平 X 轴。
均值 $u = [0,0]$ , 协方差矩阵为 $c = \begin{bmatrix} 5 & 0 \\ 0& 5 \end{bmatrix}$ ，则样本分布图的 XOY 平面是椭圆形，主轴方向平行水平 X 轴。
均值[0,0]代表正态分布的中心点，方差代表其分布的形状。
协方差矩阵 C 的最大特征值 D 对应的特征向量 V 指向样本分布的主轴方向。例如，最大特征值 $D1=5$ 对应的特征向量 $V1=\begin{bmatrix} 1& 0 \end{bmatrix}^T$ 即为样本分布的主轴方向（一般认为是数据的传播方向）。次大特征值 $D2=1$ 对应的特征向量 $V2=\begin{bmatrix} 0& 1 \end{bmatrix}^T$ ,即为样本分布的短轴方向。
由于协方差矩阵 C 具有两个相同的特征值 $D1=D2=5$ ,因此样本在V1和V2特征向量方向的分布是等程度的，故样本分布是一样圆形。
特征值 D1 和 D2 的比值越大，数据分布形状就越扁；当比值等于1时，此时样本数据分布为圆形。

总结

样本均值决定样本分布中心点的位置。
协方差矩阵决定样本分布的扁圆程度。
偏向方向（数据传播方向）由特征向量决定。最大特征值对应的特征向量，总是指向数据最大方差的方向（椭圆形的主轴方向）。次大特征向量总是正交于最大特征向量（椭圆形的短轴方向）
协方差矩阵（散布矩阵）在模式识别中应用广泛，最典型的应用是PCA主成分分析了，PCA主要用于降维，其意义就是将样本数据从高维空间投影到低维空间中，并尽可能的在低维空间中表示原始数据。这就需要找到一组最合适的投影方向，使得样本数据往低维投影后，能尽可能表征原始的数据。此时就需要样本的协方差矩阵。PCA算法就是求出这堆样本数据的协方差矩阵的特征值和特征向量，而协方差矩阵的特征向量的方向就是PCA需要投影的方向。

协方差矩阵和散布（散度）矩阵

协方差矩阵

协方差矩阵的几何意义

总结

友情链接更多精彩内容