最大信息系数和互信息

最大信息系数（Maximum Information Coefficient，MIC）和互信息（Mutual Information，MI）都是衡量两个变量之间相关性的方法，但它们之间存在一些区别。

互信息是一种用于衡量两个随机变量之间相互依赖程度的方法。它的定义如下：

互信息：对于两个离散型随机变量 X 和 Y，它们的互信息 I(X,Y) 定义为：

I(X,Y) = \sum_{x \in X}\sum_{y \in Y}p(x,y)\log\frac{p(x,y)}{p(x)p(y)}

其中，p(x,y) 表示 X=x 且 Y=y 的联合概率分布，p(x) 和 p(y) 分别表示 X 和 Y 的边缘概率分布。

互信息的取值范围为 [0,+\infty)，取值越大表示两个变量之间相关性越强。

而最大信息系数是一种用于衡量两个变量之间非线性相关性的方法，它的定义如下：

最大信息系数：对于两个变量 X 和 Y，它们的最大信息系数 \mathrm{MIC}(X,Y) 定义为：

\mathrm{MIC}(X,Y) = \max_{f,g}\frac{\mathrm{MI}(f(X),g(Y))}{\log_2\min\{k_1,k_2\}}

其中，f 和 g 是 X 和 Y 到 [0,1] 区间的单调函数，k_1 和 k_2 分别是 X 和 Y 的可能取值个数。

最大信息系数的取值范围为 [0,1]，取值越大表示两个变量之间相关性越强。

最大信息系数和互信息之间的关系是：最大信息系数是互信息的一种估计方法。具体来说，最大信息系数可以看作是互信息在一定条件下的估计值，其中的条件是 X 和 Y 之间的关系是单调的。因此，最大信息系数的取值范围比互信息小，但它对非线性关系的检测能力更强。

最大信息系数（Maximum Information Coefficient, MIC）是一种用于衡量两个变量之间相关性的非参数统计方法，由 Reshef 等人于 2011 年提出。

MIC 的基本思想是对于任意一对变量 X 和 Y，通过分别对 X 和 Y 进行 k-NN（k-Nearest Neighbors）估计，来评估它们之间的关联程度。具体地，MIC 首先将 X 和 Y 按照值的大小进行排序，然后用 k-NN 方法来估计 X 和 Y 之间的条件分布 P(Y|X) 和 P(X|Y)，最后计算 X 和 Y 之间的最大信息系数：

MIC(X,Y) = \max_{f,g} \frac{\sum_{i=1}^n \sum_{j=1}^n \omega_{ij} f(X_i,Y_j) g(X_i,Y_j)}{\sqrt{\sum_{i=1}^n \sum_{j=1}^n \omega_{ij} f^2(X_i,Y_j)} \sqrt{\sum_{i=1}^n \sum_{j=1}^n \omega_{ij} g^2(X_i,Y_j)}}

其中，f 和 g 分别是 X 和 Y 到 [0,1] 区间的映射函数，\omega_{ij} 是一个权重函数，它在 X_i 和 Y_j 距离越近的时候取得更大的值，可以用于调整那些较远的点对于 MIC 的影响。这个式子可以理解为在所有可能的 f 和 g 中选择一个最优的组合，使得它们的点乘积之和除以归一化系数最大。

MIC 的取值范围是 [0,1]，其中 0 表示两个变量之间没有相关性，1 表示两个变量之间具有完全的相关性。与 Pearson 相关系数等传统方法相比，MIC 能够处理更加复杂的非线性关系，并且在样本量较小、特征数量较多等情况下具有较好的鲁棒性。不过，与大部分非参数方法一样，MIC 的计算复杂度较高，通常需要进行一定的优化才能适用于大规模数据集。

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成，浏览时请结合常识与多方信息审慎甄别。
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容