比较F-test 和 互信息

本文来源于slearn文档，仅作了文字部分翻译，以便日后参考用。
sklearn_website

这个例子说明了单变量F检验统计信息和互信息之间的差异。
我们考虑3个特征x_1，x_2，x_3在[0，1]上均匀分布，目标值表达式如下所示：
y = x_1 + sin(6 * pi * x_2) + 0.1 * N(0, 1)
也就是说，y和x_3没有任何关系。

下面的代码绘制了y对单个x_i的相关性以及单变量F检验统计信息和互信息的归一化值。

由于F检验仅包含线性相关性，因此将x_1评为最具区别性的特征。另一方面，互信息可以找出变量之间任何类型的关系，并将x_2视为最有区别的特征，这可能更好地吻合了我们对本示例的直观理解。两种方法均正确地将x_3标记为无关。

print(__doc__)

import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline
from sklearn.feature_selection import f_regression, mutual_info_regression

np.random.seed(0)
X = np.random.rand(1000, 3)
y = X[:, 0] + np.sin(6 * np.pi * X[:, 1]) + 0.1 * np.random.randn(1000)

f_test, _ = f_regression(X, y)
f_test /= np.max(f_test)

mi = mutual_info_regression(X, y)
mi /= np.max(mi)

plt.figure(figsize=(15, 5))
for i in range(3):
    plt.subplot(1, 3, i + 1)
    plt.scatter(X[:, i], y, edgecolor='black', s=20)
    plt.xlabel("$x_{}$".format(i + 1), fontsize=14)
    if i == 0:
        plt.ylabel("$y$", fontsize=14)
    plt.title("F-test={:.2f}, MI={:.2f}".format(f_test[i], mi[i]),
              fontsize=16)
plt.show()

F-score and MI.JPG