pandas:一个神奇的东西(零)

cover
cover

本文写给谁?

  • 可以用Python写出Hello world。

  • Excel太弱鸡了,vba语法太变态;R没空学;SPSS,SAS是什么?我就是这样。

  • 有一定的数据处理需求,比如你的七大姑八大姨突然发你一张表让你搞。

准备工作

首先,你需要一些有用的资料:

pandas官方文档

你在网上能够搜到的所有中文资料都可以认为是该文档的翻译。

pandas速查手册

顾名思义,不够都是一些简单操作。

利用Python进行数据分析

真要学pandas,这本是一定要买的,因为本书的作者Kinney就是搞出pandas的人,我只能算草草翻过这本书,但我觉得这本书结构略有问题,也不太考虑业务场景。

打开IDE,抽根烟喝杯水,一个早上过去了

终端输入:

pip install pandas

在python文件开头也要写上:

import pandas as pd

首先你要了解的是,pandas中两个最基本的对象是Series和DataFrame。

Series的性质和Python中原生的dict差不多,一个key对应一个vaule,而且key必须是唯一的。

DataFrame(以下简称df)的性质则和SQL中的table差不多,但和MySQL不同的是,对于一个df加.T就可以实现转置,据Kinney自己说pandas的行(row)操作和列(column)操作基本是平衡的。

什么叫基本平衡呢?就是有时不平衡,举一个例子,比如往一个Series或者df的最后(或着某一位置)插入一行数据,目前没有什么帅气的方法,能想到的可行的解决办法是:

  • 用dict或者其他手段创建一个新的df,然后用append操作将两个df合并起来。

  • df.T转置转置原表,然后插入一个新的列。

想想比较丑陋,其实Stack上有人问过这样的问题,一位大神给出了答案:

如何帅气地插入一行-stack overflow

pandas本身依赖numpy的,而ndarray在内存里占据这一段连续的内存空间,任何改变ndarray长度的操作都势必让所有value改变内存中的位置,也确实比较慢。

Pandas适合处理多种类型的数据:

具有不同数据类型列的表格数据,如SQL表或Excel电子表格
有序或无序(不固定频率)的时间序列数据。
带有行和列标签的任意矩阵数据
任何其他形式的观测/统计数据集。
Pandas主要包含三种数据结构,分别是Series(一维),DataFrame(二维),Panel(三维)。

其中Series和DataFrame可以用于处理绝大多数金融,统计,社会科学和许多工程领域的典型问题。对于R用户而言,DataFrame在支持所有R的data.frame的功能的基础上还能有更丰富的应用。Pandas库建立在NumPy库之上,旨在与科学计算环境和许多其他第三方库完美集成。

Pandas的优势:

可以轻易的处理浮点及非浮点数据类型的缺失值(NaN)
大小可变:DataFrame和Panel都可以删除或插入列
数据自动对齐
灵活强大的分组功能,可对数据集进行拆分组合操作
方便的将其他Python和NumPy数据结构中不同类索引的数据转换为DataFrame对象
基于智能标签的切片,花式索引,轻易从大数据集中取出子集
直观的合并,连接数据集
轻易的重新定义数据集形状和转置
轴(axes)的分层标签(使每个元组有多个标签成为可能)

Pandas库是统计科学家在分析数据时的理想工具,非常适合应用于数据清洗,分析/建模,然后将分析结果组织成适合于绘图或表格显示的形式的全部过程。statsmodel库依赖Pandas库,使其成为Python统计计算系统的重要组成部分。
Pandas库已经广泛应用于金融数据。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,313评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,369评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,916评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,333评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,425评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,481评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,491评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,268评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,719评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,004评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,179评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,832评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,510评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,153评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,402评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,045评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,071评论 2 352

推荐阅读更多精彩内容