pandas(二)

一、汇总和计算描述统计


        有些方法(如idxmix,idxmax)返回的是间接统计:

        另一些方法是累计型的:

        还有一种方法,既不是简约型,也不是累计型,比如describe,它用于一次性产生多个汇总统计:

        对于非数值型数据,会产生另外一种统计:


 相关系数与协方差

计算百分数变化:


唯一值,计数值以及成员资格


有时,你可能希望得到DataFrame中多个相关列的一张柱状图,将pandas.value_counts传给该DataFrame的apply函数,就会出现:

二、处理缺失数据

滤除缺失数据

三、层次化索引

        层次化索引是pandas的一项重要功能,它使你能在一个轴上拥有多个(两个以上)索引级别。抽象点说,它使你能够以低纬度形式处理高纬度的数据。先看一个例子:

        这就是带有MultiIndex索引的Series的格式化输出形式。索引之间的“间隔”表示“直接使用上面的标签”:

        duiyu 一个层次化索引的对象,选取数据子集的操作很简单:

        有时甚至还可以在“内层”中进行选取:

        层次化索引在数据重塑和基于分组的操作(如透视表生成)中扮演着重要的角色。比如,这段数据可以通过其unstack方法被重新安排到一个DataFrame中:

        对于一个DataFrame,每条轴都可以有分层索引:

    各层都可以有名字。如果指定了名称,他们就会显示在控制台输出中(不要将索引名和轴标签混为一谈!!!):

 重排分级顺序

        有时,你需要重新调整某条轴上各个级别的顺序,或根据指定级别上的值对数据进行排序。swaplevel接受两个级别编号或名称,并返回一个互换了级别的新对象(但数据不会发生变化):

根据级别汇总统计

        许多对DataFrame和Series的描述和汇总统计都有一个level选项,它用于指定在某条轴上求和的级别。再以上面的DataFrame为例,我们可以根据行或列上的级别来进行求和,如下所示:

这其实是利用了pandas的groupby功能

使用DataFrame的列

        人们经常想要将DataFrame的一个或多个列当做行索引来用,或者希望将行索引变成DataFrame的列。    


最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,029评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,238评论 3 388
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,576评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,214评论 1 287
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,324评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,392评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,416评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,196评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,631评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,919评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,090评论 1 342
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,767评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,410评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,090评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,328评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,952评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,979评论 2 351

推荐阅读更多精彩内容

  • 引入pandas和常用的数据结构Series,DataFrame 一、pandas的数据结构的介绍 1.Serie...
    kohlgrx阅读 382评论 0 0
  • 又到了年底。相信我们每天都会有各种各样的忙碌,我们可能要面对,由于工作环境直接引发的普遍性症状。由于工作压力导致的...
    Wonders全美原版课堂阅读 392评论 0 0
  • 你问我有没有遇到过什么奇怪的顾客? 哈哈,当然有的嘛,有的是因为用了青春以后直接变成小娃娃被自己的儿子女儿抱来找我...
    咕咕咕咕咕玄阅读 644评论 0 0
  • 嘿!你还记得我吗?也许你已经不记得我了吧,我是你中学时的同班同学。有印象了吗?想不起来也没关系,只要我还记得你就可...
    玉儿爱吃芋头阅读 250评论 0 8
  • Hadoop HDFS Architecture 参考资料: 1.Hadoop HDFS Architecture...
    一路向北_c6e6阅读 162评论 0 0