covariance:协变
协方差Cov(x, y)表示两个变量之间的线性相关程度。
对于n维度随机变量的,协方差矩阵,对角线为Cov(xi, xi)元素代表第i个元素的方差。非对角线元素Cov(xi, xj)代表第i个元素和第j个元素的线性相关性。例如我们在做PCA的时候,即希望变化后的随机变量的协方差矩阵,对角线上的元素很大,非对角线的元素接近0。
皮尔逊系数 Cov(x, y) / (stdx * stdy) 代表了标准化后的线性相关程度,1代表完全线性相关(即x变大n倍,y也变大n倍),-1代表完全负线性相关(x扩大n倍,y缩小n倍),0则代表其变化中没有线性相关性。
Pearson Coefficient 限制
1、当有一个很远的outlier的时候,皮尔逊系数也会很大,所以,也无法更客观表达其他点的相关性关系。
2、当两个变量可能有更复杂的相关关系(非简单线性相关性),那么即使其相关先很高,Pearson系数也可能为0