116、pandas基本功能2

3、索引、选取和过滤

Series索引(obj[...])工作方式类似于NunmPy数组的索引,Series的索引值除了是整数还可以是标签等其他方式:
1.png
2.png

利用标签的切片运算与普通的Python切片运算不同,其末端包含的:
3.png

DataFrame索引就是获取一个或多个列:
4.png

DataFrame通过切片或布尔型数组选取行:
5.png

通过布尔型DataFrame(比如由标量比较运算得出的)进行索引:
6.png

为了在DataFrame的行上进行标签索引,引入索引字段ix。它可以通过NumPy的标记法以及轴标签从DataFrame中选取行和列的子集:
7.png
8.png
9.png

下面列出了DataFrame数据的大部分选取和重排方式:
10.png
12.png

4、算术运算和数据对齐

pandas最重要的一个功能是:可以对不同索引对象进行算术运算。比如将对象相加时,如果存在不同的索引对,则结果的索引就是该索引对的并集:
1.png

由上面可以看到,自动的数据对齐操作在不重叠的索引处引入NA值。

对于DataFrame,对齐操作会同时发生在行和列上:
2.png

从上面看出,相加后会返回一个新的DataFrame,其索引和列为原来两个DataFrame的并集。
5、在算术方法中填充值

对不同的索引对象进行算术运算时,如果一个对象中某个轴标签在另一个对象中找不到时填充一个特殊值(比如0):
3.png

使用df1的add方法,传入df2以及一个fill_value参数:
4.png

以此类似,在对Series或DataFrame重新索引时,也可以指定一个填充值:
5.png

常用算术方法如下:
6.png

6、DataFrame和Series之间的运算

计算一个二维数组与某行之间的差:
7.png

上面这种运算方式称为广播。广播是指不同形状的数组之间的算术运算的执行方式,有的类似于数学中的等差数列。比如一维数组在轴0上的广播图解如下:
行廣播.png

二维数组在轴1上的广播图解如下:
列廣播.png

DataFrame和Series之间的运算也使用了广播:
8.png

默认情况下,DataFrame和Series之间的算术运算会将Series的索引匹配到DataFrame的列,然后沿着行一直向下广播:
9.png

如果某个索引值在DataFrame的列或Series的索引中找不到,则参与运算的两个对象会被重新索引以形成并集:
10.png

如果匹配行且在列上广播,则必须使用算术运算方法:
11.png

源码如下:


# In[1]:


import numpy as np
import pandas as pd
from pandas import Series,DataFrame
s1 = Series([2,9,7],index=['a','b','c'])
print(s1)


# In[2]:


s2 = Series([5,7,11,3],index=['a','c','g','f'])
print(s2)


# In[3]:


# 相加
sm = s1 + s2
print (sm)


# In[4]:


df1 = DataFrame(np.arange(9).reshape((3,3)),columns=list('bcd'),
                index=['Guangdong','Shandong','Henan'])
print(df1)


# In[5]:


df2 = DataFrame(np.arange(12).reshape((4,3)),columns=list('bde'),
                index=['Hainan','Shandong','Henan','Anhui'])
print(df2)


# In[6]:


sm2 = df1 + df2
print(sm2)


# In[7]:


df1 = DataFrame(np.arange(12).reshape((3,4)),columns=list('abcd'))
print(df1)


# In[8]:


df2 = DataFrame(np.arange(20).reshape((4,5)),columns=list('abcde'))
print(df2)


# In[9]:


df = df1 + df2
print(df)


# In[10]:


ad = df1.add(df2,fill_value=0)
print(ad)


# In[11]:


re = df1.reindex(columns=df2.columns,fill_value=0)
print(re)


# In[12]:


arr = np.arange(12).reshape((3,4))
print(arr)


# In[13]:


print(arr[0])


# In[14]:


di = arr - arr[0]
print(di)


# In[15]:


frame = DataFrame(np.arange(12).reshape((4,3)),columns=list('bde'),
                  index=['Guangdong','Shandong','Henan','Sichuan'])
print(frame)


# In[16]:


series = frame.ix[0]
print(series)


# In[17]:


fr_se = frame - series
print(fr_se)


# In[18]:


series2 = Series(range(3),index=['b','e','f'])
fr_se2 = frame + series2
print(fr_se2)


# In[19]:


# 匹配行在列上广播
print(frame)


# In[20]:


series3 = frame['d']
print(series3)


# In[21]:


# sub表示减法,即frame-series3
# axis=0表示传入的轴号是需要匹配的轴
su = frame.sub(series3,axis=0)
print(su)


# In[22]:


obj = Series(np.arange(4),index=['a','b','c','d'])
print(obj)


# In[23]:


# 索引具体标签后的值
print(obj['b'])


# In[24]:


# 索引整数等价于obj['b']
print(obj[1])


# In[25]:


# 类似于NunmPy数组的索引
print(obj[1:3])


# In[26]:


print(obj[[1,3]])


# In[27]:


print(obj[['b','a','d']])


# In[28]:


print(obj[obj<3])


# In[29]:


print(obj['b':'c'])


# In[30]:


# 赋值
obj['b':'c'] = 5
print(obj)


# In[32]:


# DataFrame索引
data = DataFrame(np.arange(16).reshape((4,4)),
                 index=['Guangdong','Shandong','Henan','Sichuan'],
                 columns=['one','two','three','four'])
print(data)


# In[33]:


print(data['two'])


# In[34]:


print(data[['three','one']])


# In[35]:


# 通过切片选取行
print(data[:2])


# In[36]:


# 通过布尔型数组选取行
bool = data[data['three'] > 5]
print(bool)


# In[37]:


# 通过布尔型DataFrame进行索引:
print(data < 5 )


# In[38]:


# 通过布尔型DataFrame结果进行赋值
data[data < 5] = 0
print(data)


# In[40]:


print(data)


# In[41]:


# 引入索引字段ix
i = data.ix['Henan',['two','four']]
print(i)


# In[42]:


i2 = data.ix[['Shandong','Sichuan'],[1,2,3]]
print(i2)


# In[43]:


# 引入索引字段ix索引行
i3 = data.ix[3]
print(i3)


# In[46]:


# 使用ix索引一定范围
i4 = data.ix[:'Henan','three']
print(i4)


# In[47]:


i5 = data.ix[data.three > 5, :3]
print(i5)
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,684评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,143评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,214评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,788评论 1 277
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,796评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,665评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,027评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,679评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 41,346评论 1 299
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,664评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,766评论 1 331
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,412评论 4 321
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,015评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,974评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,203评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,073评论 2 350
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,501评论 2 343

推荐阅读更多精彩内容