Covariance Matrix

定义见中文维基协方差矩阵

从熟悉的标量随机变量开始,

1. 方差
随机变量的方差用于描述它的离散程度,也就是该变量离期望值的距离。
当变量为实数时,也叫作二阶矩或者二阶中心动差。
简单的讲,将各个误差的平方相加再除以总数就是方差,其算术平方根称为该随机变量的标准差
定义:方差可以看做随机变数与本身的协方差

variance

2.连续随机变数
如果随机变量x是连续分布,并有概率密度函数f(x),那么其方差为:


如果一个连续分布不存在期望值,例如Cauchy distribution,那么不存在方差

3.离散随机变数
如果随机变数X是具有概率质量函数的离散概率分布x1 ↦ p1, ..., xnpn,则:
如果,x为有N个相等概率的平均分布,那么,


当X为有N个相等概率值的平均分布:

还可以用点与点之间的计算:

4.随机向量


有两种标记方法:
var(X) = cov(X) = E[ ( X-E[X] )( X-E[X] )^T ], 此时也叫作方差
cov(X,Y) = E[ ( X-E[X] )( Y-E[Y] )^T ]

协方差矩阵可以导出一个变换矩阵,使数据完全去相关,换句话说,能够找出一组最佳最compact的base来表达数据,即常用的主成分分析(principal component analysis)。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容