seaborn.heatmap&regplot绘制相关性

在机器学习和数据可视化过程中，我们会得到原始数据集，原始数据要首先进行一定可视化进行基本探索。本次，我将介绍的是基本相关性分析和其可视化。

皮尔逊相关系数
皮尔逊相关系数是探索两个变量间线性相关性的统计学方式，它的基本公式如下:

假设有两个随机变量： $X:[x_1, x_2,..., X_n]$ 和 $Y:[y_1,y_2,..., y_n]$
样本的均值分别是： $E(X) = \frac{\sum^{n}_{i=1}(x_i)}{n}$ 和
$E(Y) = \frac{\sum^{n}_{i=1}(y_i)}{n}$

样本的标准差： $\sigma_X = \sqrt{\frac{\sum^{n}_{i=1}(X_i - E(X))^2}{n-1}}$ 和
$\sigma_Y = \sqrt{\frac{\sum^{n}_{i=1}(Y_i - E(Y))^2}{n-1}}$
总体的协方差： $Cov(X,Y) = \frac{\sum^{n}_{i=1}(X_i - E(X))(Y_i-E(Y))}{n-1}$

皮尔逊相关系数： $\rho_{XY} =\frac{ Cov(X, Y)}{\sigma_X\sigma_Y}$

详细的介绍和练习见numpy.corrcoef and pandas.corr

我使用sklearn生成基本回归数据，然后进行基本可视化seaborn.heatmap
观察

from sklearn.datasets import make_regression
import pandas as pd

### 建立一个模拟的回归数据，一共20个样本，5个特征，其中有效的特征是3个
X, y = make_regression(n_samples=20, n_features=5,n_informative = 3, random_state=0)
print(X.shape, y.shape)

### 建立pandas数据类型，便于seaborn可视化
var_name = [ 'var1', 'var2', 'var3', 'var4', 'var5', 'y']
X_corr = np.concatenate((X, y.reshape(-1,1)), axis = 1)
X_corr = pd.DataFrame(X_corr, columns = var_name)
corr = X_corr.corr()

import seaborn as sns
import matplotlib.pyplot as plt
f, ax = plt.subplots(figsize = (10, 10))

plt.title('The correlationship in variables')

# sns.set(font_scale = 1.5)

# ax.tick_params(labelsize = 16)
#sns.heatmap(corr)
### 设置相关的参数，保证图像画的清晰
sns.heatmap(corr, annot = True, fmt = '.2f', cmap = 'BrBG', Linewidths = 0.2, annot_kws = {'size': 10})

### 保存相应的图像，dpi设置图像分辨率，bbox_inches设置图像的
#f.savefig('samples.png', dpi = 300, bbox_inches = 'tight')

plt.show()

heatmap

regplot()散点图绘制，这里结合heatmap对特征与被预测变量进行散点图绘制seaborn.regplot，并且将多个图绘制在同一个画布上。

f = plt.figure(figsize = (20, 20))

plt.title('Scatter map between y andvariables')
sns.set(style="white", font_scale=1.5,color_codes=True)
# sns.set(font_scale = 1.5)

for i in range(0, 5):
    ax = f.add_subplot(2,3, i+1) 
    sns.regplot(x = X_corr.iloc[:,-1], y = X_corr.iloc[:,i] )
    ax.tick_params(labelsize = 16)
    
plt.tight_layout()
f.savefig('Test_regression_scattermap.png', dpi = 300, bbox_inches = 'tight')
plt.show()

Scattermaps

注意
3.1 一般分析要将两者结合起来，但从heatmap中获得的数值有可能出现偏差，这里主要考虑是样本出现异常值，会影响相关系数的计算，但是在scattemap中可以观测到异常值。
3.2 了解更加详细的散点图绘制[完整的散点图]。(https://www.jianshu.com/p/77a747fb2da8)