基于相互独立性的互信息是衡量变量间非线性相关性的一种工具。虽然皮尔逊相 关系数和互信息被广泛的运用在度量变量间的相关性，但它们存在过高估计的问题， 也就是说，即使 X 和 Y 直接独立，当存在与它们两者都相关的第三个随机变量 Z 时， 这两个量间的值也可能为非零的，而偏相关系数和条件互信息就能避免此类问题。
等级相关性：等级相关系数是用来衡量两变量的依赖性的非参数指标。一般 指斯皮尔曼等级相关系数，常用ρ或𝑟y表示，一般采用单调方程评价两个统计 变量的相关性。它被定义为等级变量之间的皮尔逊相关系数（Myers and Jerome L;2003）。
欧式距离：在数学中，欧几里得距离是欧几里得空间中两点间“普通”（即直 线）距离。
向量夹角：可定义两个随机变量间的余弦相似度，其值为 0~1，值越小表示 相似度越高，值越大表示相似度越低。
基于信息论的一些度量方法，如互信息、条件互信息、最大信息数、 部分互信息等
image.png
image.png
