2018-06-15 开胃学习Data系列 - Pandas 基础2

温故知新总结:

  1. 任何更改在处理的DataFrame, 可能会对最初使用的基本DataFrame产生影响。
  2. 换句话说:明确地使用一个副本, 那么应该首先考虑在DataFrame上调用copy方法。
  3. 可以通过使用skiprows参数来做到让Pandas去忽略由数字组成的第一行。
  4. 使用 rename 更改 col 名字,并使用 inplace属性










Dataframe Indexing and Loading


常见的工作流程是将数据读入DataFrame, 然后将该DataFrame减少到有兴趣处理的特定的列(column) 或行(row)。Pandas的工具组试图给 DataFrame的视图。这是比复制资料快得多,和更有效率的使用记忆体。但是它意味着, 任何更改在处理的DataFrame, 可能会对最初使用的基本DataFrame产生影响。

以下是使用相同的采购DataFrame的例子。可以使用方括号创建一个列表,只查看cost类别。可以通过(broadcasting)来增加这个列表里的费用。对比原来的DataFrame,新的费用也增加了。

这是值得注意的重要考虑因素。如果要明确地使用一个副本, 那么应该首先考虑在DataFrame上调用copy方法。




通常的工作流程是读取一些外部的文件数据集。使用这些dictionary来创建一个Pandas的DataFrame。Pandas有内置的支持,对于 例如分隔文件(如.CSV文件)以及各种 其他数据格式,包括关连资料库,Excel和HTML表。

可以使用shell命令cat来查看这个文件。可以直接调用使用惊叹号(!)

常识:当Jupyter笔记本看到一行操作 以惊叹号开始的时,会将其余的命令发送到操作系统shell去进行评估。所以cat可以运行在Linux和Mac以及Coursera平台上, 但可能无法在Windows上运行。

这个是 olympics.csv的CSV文件, 其中包含维基百科的数据,包含了奖牌的总结列表, 关于各国在奥运会赢得的。

DataFrame中的第一行(row)数据 是我们希望看到的列名标签。数据中的第一列(column)似乎也是国家的名称, 我们想用它来做成索引(index)。重新导入数据,和设置索引值index_col为0,这是第一列, 并设置列的标签从第二行数据来读取。

可以通过使用skiprows参数来做到让Pandas去忽略由数字组成的第一行。

这些页面没有用金,银和 铜牌,而是用一个漂亮的小图标,加上一个1,一个2, 另外一个3在里面。在我们的csv文件中,它们用字串01!来表示 ,02!我们看到列(column)的值被重复,这不是很好的做法。 Pandas认识到这一点,而附加了.1和.2,使标签更加独特。但是这个标签并不是很清楚,所以我们应该清理数据文件。可以使用Pandas name属性设置列的名称。

Pandas存储所有列的列表在.columns属性中。可以通过遍历该列表来更改列名的值, 使用dataframe的rename方法。

在这里,我们只是遍历所有列的值,看看它们是否 以01,02,03或数字符开始。如果他们是,我们可以呼叫rename函数, 并将列参数设置为dictionary,用的key是我们要替换的column, value是我们想要的新值。

这里我们把一些旧的值分成两部分, 因为我们不想失去唯一的附加值。
我们还会将非常重要的inplace参数设为true, 以便Pandas知道直接更新此DataFrame。










Querying a DataFrame


boolean masking 是NumPy快速高效查询的核心。它类似于在其他计算领域使用的masking。

boolean masking 是一个阵列(atrray),它可以是一维度像一个列表(series),或者 二维度像DataFrame这样的,array中的每个值都是true或false。这个array基本上覆盖在我们查询的数据结构之上。任何单元格与true都将被允许进入我们的最终结果, 任何单元格与false对齐的就不能够。

boolean masking 在概念上是强大的, 是高效的NumPy和Pandas查询的基石。这种技术在计算机科学的其他领域中被广泛使用, 例如图形学。但是在其他传统的关连资料库中并没有类似的。创建boolean masking 通过将操作符直接应用于Pandas列表或 DataFrame对象。

例如,在我们的奥运数据集中,您可能只想看到 在夏季奥运会上获得金牌的国家。要构建此查询的布林遮罩,我们投影金牌('Gold')列,使用索引运算符, 并应用比较值为大于零(>0)的运算符。这实际上是广播比较(comparison)运算符, 大于(>),其结果为Boolean系列。所得到的是有索引的系列,每个单元格是True或 False,根据一个国家是否赢得了至少一枚金牌, 并且索引是国家名称,

所以我们建立了boolean masking ,然而这只是一半而已。接下来我们要做的是覆盖该遮罩(mask)在DataFrame上。

可以使用where函数来做到这一点。 where函数将boolean masking作为条件,将其应用于DataFrame或series, 并返回一个相同形状的新DataFrame或series。我们将这个boolean masking应用于我们的奥运数据并创建一个DataFrame - 只有那些在夏季比赛中赢得金牌的国家。

产生的DataFrame保留了原始的索引, 只保留了满足条件的国家/地区的数据。
所有不符合条件的国家只有NaN数据。 大多数DataFrame内置的统计功能忽略NaN的值。

如果我们用count()在only_gold DataFrame中, 有100个国家在夏季奥运中获得了金牌。
如果我们用count()在原始的df DataFrame, 有147个国家总数。

通常我们想删除那些没有数据的行(row)。为此可以使用dropna()功能。可以选择提供dropna()应该考虑的轴(axis)。请记住,轴只是指示列(column)或行(row), 预设值为0,这意味着行(row)。

这里是一个更简洁的例子,说明如何查询这个DataFrame。
这种方式查询DataFrame时,注意到没有NaN。 Pandas自动过滤掉没有值的行。

如果不习惯用布林(boolean)或位(bit)遮蔽来 减少数据 两个boolean masking,当进行逻辑比较运算,其输出是 是另一个boolean masking。这意味着您可以链接一堆and/or语句 以创建更复杂的查询,结果仍然是单个boolean masking。


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,558评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,002评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,036评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,024评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,144评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,255评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,295评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,068评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,478评论 1 305
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,789评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,965评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,649评论 4 336
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,267评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,982评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,223评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,800评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,847评论 2 351

推荐阅读更多精彩内容