Seaborn中文教程(三):数据集的分布

当我们上手一个数据集时,往往第一件事就是了解每个变量是如何分布的。这一章节会简单地教大家如何在seaborn中检验一元分布和二元(维)分布。你也许会对如何对比一个变量在其他变量的不同水平下的分布有什么差异,在分类数据可视化教程中,你可以找到答案。

import numpy as np
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
from scipy import stats

sns.set(color_codes=True)

一、一元分布的可视化

seaborn中,查看单变量分布情况最方便的方法就是使用distplot()函数。默认情况下,它会画一个直方图,并且做一个核密度估计(KDE)。

x = np.random.normal(size=100)
sns.distplot(x);
image

直方图

直方图我们应该都很熟悉了,matplotlib中也有一个hist()函数来绘制直方图。直方图将数据划分到多个数据桶中,然后对每个桶中的样本进行计数,并将它们以长条的形式画出来。

我们通过演示来理解这个过程:去掉密度曲线,并且加一个“地毯图”(rugplot)。地毯图会在每个观测值的位置添加一个垂直的线段小标记。我们可以使用rugplot()来仅仅绘制地毯图,不过它在distplot()中已经得到了支持:

# 高度和下方标记的密集度是成正比的
sns.distplot(x, kde=False, rug=True);
image

在绘制直方图时,最主要的选择就是指定数据桶的数量以及它们的边界。distplot()默认会用一条简单的规则来猜测多少个数据桶最合适,不过尝试更多或更少的分桶也许能帮助我们揭示数据的更多特性:

sns.distplot(x, bins=20, kde=False, rug=True);
image

核密度估计

我们对核密度估计可能不太熟悉,但是它在展示数据分布形状方面很有用。与直方图类似,KDE图用高度对观测值的密度进行编码:

sns.distplot(x, hist=False, rug=True);
image

相对于直方图,KDE图的绘制有更高的计算复杂度。在KDE的计算中,首先每个观测值会被替换为一条以该观测点为中心的正态曲线:

x = np.random.normal(0, 1, size=30)
bandwidth = 1.06 * x.std() * x.size ** (-1 / 5.)
support = np.linspace(-4, 4, 200)

kernels = []
for x_i in x:
    kernel = stats.norm(x_i, bandwidth).pdf(support)
    kernels.append(kernel)
    plt.plot(support, kernel, color='r')

sns.rugplot(x, color=".2", linewidth=3);
image

接下来,我们把所有的曲线都叠加起来,得到每个点上的密度。然后我们把最终的曲线正则化(归一化),这样曲线下方的面积加起来刚好是1:

from scipy.integrate import trapz
density = np.sum(kernels, axis=0)
density /= trapz(density, support)
plt.plot(support, density);
image

如果我们直接用kdeplot()函数,那我们会得到同样的结果。distplot()中集成了这个函数,但是当我们只想绘制密度估计图时,kdeplot()能提供更直接的接口以及更多的选项。

sns.kdeplot(x, shade=True);
image

kdeplot()中的bw参数控制着估计值与真实数据之间的贴近程度,就像直方图中的分桶大小一样。它与我们的KDE图的宽度相关。它提供了默认的规则来确定一个取值,不过有些时候我们自己尝试一些更大或更小的值也许会很有帮助:

sns.kdeplot(x, label="bw: default")
sns.kdeplot(x, bw=.2, label="bw: 0.2")
sns.kdeplot(x, bw=2, label="bw: 2")
plt.legend();
image

如你所见,高斯(正态)KDE过程的性质扩展了原数据集中的最大值和最小值。我们可以通过cut参数控制曲线超过极值的距离,然而这只会改变曲线的绘制,而不会改变它拟合、计算的过程:

sns.kdeplot(x, shade=True, cut=0)
sns.rugplot(x);
image

拟合指定的分布

我们可以使用distplot()将数据拟合到一个指定的分布形态,我们可以在视觉上评估它们有多接近:

x = np.random.gamma(6, size=200)
sns.distplot(x, kde=False, fit=stats.gamma);
image

二、二元分布可视化

将两个变量的联合分布形态可视化出来往往会很有用。在seaborn中,最简单的实现方式是使用jointplot()函数,它会生成多个面板,不仅展示了两个变量之间的关系,也在两个坐标轴上分别展示了每个变量的分布。

mean, cov = [0, 1], [(1, .5), (.5, 1)]
data = np.random.multivariate_normal(mean, cov, 200)
df = pd.DataFrame(data, columns=["x", "y"])

散点图

最常见的展示二元分布的方法是使用散点图,我们使用x、y两个坐标轴来定位每一个观测值。它类似于二维的地毯图。我么可以使用matplotlib中的plt.scatter()函数来绘制散点图,同时,jointplot()的默认绘制类型也是散点图。

sns.jointplot(x="x", y="y", data=df);
image

六边图

六边图(Hexbin),可以视为二维世界中的直方图,因为它展示了每个小六边形中观测点的数量。这种图在大数据集上表现最佳。我们使用matplotlibplt.hexbin函数以及seabornjointplot(kind="hex")都可以绘制它。白色背景与六边图看起来更配哦:

x, y = np.random.multivariate_normal(mean, cov, 1000).T
with sns.axes_style("white"):
    sns.jointplot(x=x, y=y, kind="hex", color="k")
image

核密度估计

没错,核密度估计也适用于二元的情况。在seaborn中,这种图会以等高线的方式展示出来,我们可以用jointplot(kind="kde")来绘制它:

sns.jointplot(x="x", y="y", data=df, kind="kde");
image

我们也可以直接使用kdeplot()来绘制二维的核密度估计图。这允许我们直接在某个指定的matplotlib坐标轴上(包括已存在的坐标轴体系)绘制这类图形。作为对比,在jointplot()中我们只能创建一个新的图来生成核密度估计图。

f, ax = plt.subplots(figsize=(6, 6))
sns.kdeplot(df.x, df.y, ax=ax)
sns.rugplot(df.x, color="g", ax=ax)
sns.rugplot(df.y, vertical=True, ax=ax);
image

如果我们想将二元密度以更加连续的形式展示出来,我们可以简单地通过增加等高线的水平数:

f, ax = plt.subplots(figsize=(6, 6))
cmap = sns.cubehelix_palette(as_cmap=True, dark=0, light=1, reverse=True)
sns.kdeplot(df.x, df.y, cmap=cmap, n_levels=60, shade=True);
image

jointplot()函数基于JointGrid对象来控制图形。我们可以直接使用JointGrid来获得更高的灵活性。jointplot()在绘制完成后会返回一个JointGrid对象,我们可以通过它来增加更多图层或者调整其他细节:

g = sns.jointplot(x="x", y="y", data=df, kind="kde", color="m")
g.plot_joint(plt.scatter, c="w", s=30, linewidth=1, marker="+")
g.ax_joint.collections[0].set_alpha(0)
g.set_axis_labels("$X$", "$Y$");
image

三、数据集中成对关系的可视化

成对关系的可视化是指在一个数据集的所有变量中,两两之间的关系。假如我们想要看多个变量中两两组合之间的联合分布情况,我们可以使用pairplot()函数,它会创建一个由多个坐标轴构成的矩阵,然后把两两之间(一般是DataFrame的列之间的组合)的关系分别绘制在不同的坐标轴上去。默认情况下,它还会将每个变量自己的分布情况画在对角线的位置:

iris = sns.load_dataset("iris")
sns.pairplot(iris);
image

正如jointplot()函数和JointGrid对象之间的关系,pairplot()函数是基于PairGrid对象构建的,我们也可以使用PairGrid来获取更多灵活性:

g = sns.PairGrid(iris)
# 在对角线上的坐标轴内画图
g.map_diag(sns.kdeplot)
# 在非对角线上的坐标轴内画图
g.map_offdiag(sns.kdeplot, n_levels=6);
image
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,542评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,596评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,021评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,682评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,792评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,985评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,107评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,845评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,299评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,612评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,747评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,441评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,072评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,828评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,069评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,545评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,658评论 2 350

推荐阅读更多精彩内容