协方差、协方差矩阵的数学概念及算法计算

https://blog.csdn.net/lyq_12/article/details/83780932

在讲解协方差之前,我们先一起回忆一下样本的均值、方差、标准差的定义。

方差,协方差和协方差矩阵

1、概念

方差(Variance)是度量一组数据的分散程度。方差是各个样本与样本均值的差的平方和的均值: 

协方差(Covariance)是度量两个变量的变动的同步程度,也就是度量两个变量线性相关性程度。如果两个变量的协方差为0,则统计学上认为二者线性无关。注意两个无关的变量并非完全独立,只是没有线性相关性而已。计算公式如下: 

如果协方差大于0表示一个变量增大是另一个变量也会增大,即正相关,协方差小于0表示一个变量增大是另一个变量会减小,即负相关。 

协方差矩阵(Covariance matrix)由数据集中两两变量的协方差组成。矩阵的第(i,j)(i,j)个元素是数据集中第ii和第jj个元素的协方差。例如,三维数据的协方差矩阵如下所示: 

2、练习

计算下表数据的协方差矩阵:


Python代码如下:

可以由python中的numpy包计算均值和协方差:

import numpy as np

X = [[2, 0, -1.4],

    [2.2, 0.2, -1.5],

    [2.4, 0.1, -1],

    [1.9, 0, -1.2]]

print(np.mean(X,axis=0))

print(np.cov(np.array(X).T))

计算结果如下:

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 本文先简要明了地介绍了特征向量和其与矩阵的关系,然后再以其为基础解释协方差矩阵和主成分分析法的基本概念,最后我们结...
    xiao_dong_zi阅读 4,046评论 0 10
  • 1. 写在前面   为了便于理解和验证,可以参考一下,http://www.ab126.com/shuxue/27...
    FlowerFace阅读 9,447评论 0 10
  • 在做幻觉脸时用PCA,好不容易搞明白了原理,却发现溜掉了为什么计算协方差矩阵前要去均值(其实很简单,不要笑我脑残哈...
    liuzx32阅读 1,524评论 0 7
  • 清晨下雨了,准确来说,是小半夜开始下的雨。 生物钟醒的早,但还是在床上窝了很久才愿起来。 想告诉北方的朋友:“今天...
    异样的蓝阅读 224评论 0 0
  • 今天早上,我和妈妈跑到阳台上去找秋天。 阳台上的菊花开的正茂盛呢!一朵朵黄菊花在秋风中勇敢的仰着...
    Cherry多多阅读 242评论 0 2