温故知新总结:
- 任何更改在处理的DataFrame, 可能会对最初使用的基本DataFrame产生影响。
- 换句话说:明确地使用一个副本, 那么应该首先考虑在DataFrame上调用copy方法。
- 可以通过使用skiprows参数来做到让Pandas去忽略由数字组成的第一行。
- 使用 rename 更改 col 名字,并使用 inplace属性
Dataframe Indexing and Loading
常见的工作流程是将数据读入DataFrame, 然后将该DataFrame减少到有兴趣处理的特定的列(column) 或行(row)。Pandas的工具组试图给 DataFrame的视图。这是比复制资料快得多,和更有效率的使用记忆体。但是它意味着, 任何更改在处理的DataFrame, 可能会对最初使用的基本DataFrame产生影响。
以下是使用相同的采购DataFrame的例子。可以使用方括号创建一个列表,只查看cost类别。可以通过(broadcasting)来增加这个列表里的费用。对比原来的DataFrame,新的费用也增加了。
这是值得注意的重要考虑因素。如果要明确地使用一个副本, 那么应该首先考虑在DataFrame上调用copy方法。
通常的工作流程是读取一些外部的文件数据集。使用这些dictionary来创建一个Pandas的DataFrame。Pandas有内置的支持,对于 例如分隔文件(如.CSV文件)以及各种 其他数据格式,包括关连资料库,Excel和HTML表。
可以使用shell命令cat来查看这个文件。可以直接调用使用惊叹号(!)
常识:当Jupyter笔记本看到一行操作 以惊叹号开始的时,会将其余的命令发送到操作系统shell去进行评估。所以cat可以运行在Linux和Mac以及Coursera平台上, 但可能无法在Windows上运行。
这个是 olympics.csv的CSV文件, 其中包含维基百科的数据,包含了奖牌的总结列表, 关于各国在奥运会赢得的。
DataFrame中的第一行(row)数据 是我们希望看到的列名标签。数据中的第一列(column)似乎也是国家的名称, 我们想用它来做成索引(index)。重新导入数据,和设置索引值index_col为0,这是第一列, 并设置列的标签从第二行数据来读取。
可以通过使用skiprows参数来做到让Pandas去忽略由数字组成的第一行。
这些页面没有用金,银和 铜牌,而是用一个漂亮的小图标,加上一个1,一个2, 另外一个3在里面。在我们的csv文件中,它们用字串01!来表示 ,02!我们看到列(column)的值被重复,这不是很好的做法。 Pandas认识到这一点,而附加了.1和.2,使标签更加独特。但是这个标签并不是很清楚,所以我们应该清理数据文件。可以使用Pandas name属性设置列的名称。
Pandas存储所有列的列表在.columns属性中。可以通过遍历该列表来更改列名的值, 使用dataframe的rename方法。
在这里,我们只是遍历所有列的值,看看它们是否 以01,02,03或数字符开始。如果他们是,我们可以呼叫rename函数, 并将列参数设置为dictionary,用的key是我们要替换的column, value是我们想要的新值。
这里我们把一些旧的值分成两部分, 因为我们不想失去唯一的附加值。
我们还会将非常重要的inplace参数设为true, 以便Pandas知道直接更新此DataFrame。
Querying a DataFrame
boolean masking
是NumPy快速高效查询的核心。它类似于在其他计算领域使用的masking。
boolean masking
是一个阵列(atrray),它可以是一维度像一个列表(series),或者 二维度像DataFrame这样的,array中的每个值都是true或false。这个array基本上覆盖在我们查询的数据结构之上。任何单元格与true都将被允许进入我们的最终结果, 任何单元格与false对齐的就不能够。
boolean masking
在概念上是强大的, 是高效的NumPy和Pandas查询的基石。这种技术在计算机科学的其他领域中被广泛使用, 例如图形学。但是在其他传统的关连资料库中并没有类似的。创建boolean masking
通过将操作符直接应用于Pandas列表或 DataFrame对象。
例如,在我们的奥运数据集中,您可能只想看到 在夏季奥运会上获得金牌的国家。要构建此查询的布林遮罩,我们投影金牌('Gold')列,使用索引运算符, 并应用比较值为大于零(>0)的运算符。这实际上是广播比较(comparison)运算符, 大于(>),其结果为Boolean系列。所得到的是有索引的系列,每个单元格是True或 False,根据一个国家是否赢得了至少一枚金牌, 并且索引是国家名称,
所以我们建立了boolean masking
,然而这只是一半而已。接下来我们要做的是覆盖该遮罩(mask)在DataFrame上。
可以使用where函数来做到这一点。 where函数将boolean masking
作为条件,将其应用于DataFrame或series, 并返回一个相同形状的新DataFrame或series。我们将这个boolean masking
应用于我们的奥运数据并创建一个DataFrame - 只有那些在夏季比赛中赢得金牌的国家。
产生的DataFrame保留了原始的索引, 只保留了满足条件的国家/地区的数据。
所有不符合条件的国家只有NaN数据。 大多数DataFrame内置的统计功能忽略NaN的值。
如果我们用count()在only_gold DataFrame中, 有100个国家在夏季奥运中获得了金牌。
如果我们用count()在原始的df DataFrame, 有147个国家总数。
通常我们想删除那些没有数据的行(row)。为此可以使用dropna()功能。可以选择提供dropna()应该考虑的轴(axis)。请记住,轴只是指示列(column)或行(row), 预设值为0,这意味着行(row)。
这里是一个更简洁的例子,说明如何查询这个DataFrame。
这种方式查询DataFrame时,注意到没有NaN。 Pandas自动过滤掉没有值的行。
如果不习惯用布林(boolean)或位(bit)遮蔽来 减少数据 两个boolean masking,当进行逻辑比较运算,其输出是 是另一个boolean masking。这意味着您可以链接一堆and/or语句 以创建更复杂的查询,结果仍然是单个boolean masking。