Python 的 groupby() 函数和SQL中的很像，都是聚类函数，按照一定的function将一组数据集合成一个group,返回成Series。
Groupby 函数的基本理念
Paste_Image.png
Groupby 具体函数
Series.groupby(*by=None*, *axis=0*, *level=None*, *as_index=True*, *sort=True*, *group_keys=True*, *squeeze=False*, ***kwargs*)
函数的具体解释
Groupby Split 阶段
1. split by row
grouped = df['data'].groupby(df['key'])
2. split by column
import pandas as pd
traffic=pd.read_csv("test.csv")
col_mapping = {'PC_UV':'UV','M_UV':'UV','APP_UV':'UV','WQ_UV':'UV','PC_PV':'PV',
'APP_sumbit':'Submit','PC_Visits':'Visit','Total':'Total'}
by_column=traffic.groupby(col_mapping,axis=1)
3. index split
多重列Index
columns = pd.MultiIndex.from_arrays([['US','US','US','JP','JP'],[1,3,5,1,3]],names=['cty','tenor'])
hier_df = DataFrame(np.random.randn(4,5),columns=columns)
print(hier_df)
print(hier_df.groupby(level='tenor',axis=1).count())
多重行Index
traffic1=traffic.set_index(['Week','weektype'])
print(traffic1)
print(traffic1.groupby(level='weektype').count())
4.function split
目前还没想到什么好的应用场景，只能先举书中的例子了
people = DataFrame(np.random.randn(5,5),columns=['a','b','c','d','e'],
index=['Li','Zhao','Qian','Sun','Zhou'])
print(people)
print(people.groupby(len).sum())
Groupby Apply 阶段
Aggregation
将一个维度的数组降至一个数值的情况
1.经常用在Groupby 类型中的函数
Paste_Image.png
2.自定义函数
def peak_to_peak(arr):
return arr.max()-arr.min()
grouped = people.groupby(len)
print(grouped.agg(peak_to_peak))
3.多函数应用
(1) 单排数据多函数~复合index形式
tips=pd.read_csv("tips.csv")
print(tips)
tips['tip_pct']=tips['tip']/tips['total_bill']
print(tips[:6])
grouped =tips.groupby(['sex','smoker']) #用sex、smoker分组
grouped_pct=grouped['tip_pct']
print(grouped_pct.agg('mean')) # 取均值of tip_pct
print(grouped_pct.agg([('foo','mean'),('bar',np.std)])) # 平均值列为foo,标准差列为bar
（2）多排数据多函数
functions =['count','mean','max']~复合index形式
result = grouped['tip_pct','total_bill'] # 取tip_pct 和 total_bill两个列取多个函数
print(result.agg(functions))
print(grouped.agg({'tip_pct':['min','max','mean','std'],'size':'sum'})) # tip_pct取多个函数，size取sum
（3） 单index形式
print(tips.groupby(['sex','smoker'],as_index=False).mean())
Transform
transform 将一个函数应用于每个组，并将结果放置在相应的位置上。适用可传播的函数比如mean,或者transform之后和原来的frame有相同的大小
df1=df.groupby('key').transform(np.mean)
df2=df.groupby('key').mean()
print(df1)
print(df2)
df:
|data |key
---|---|---
0 |0 |A
1 |5 |B
2 |10 |C
3 |5 |A
4 |10 |B
5 |15 |C
6 |10 |A
7 |15 |B
8 |20 |C
df.groupby('key').transform(np.mean)
| index | data |
|---|---|
| 0 | 5 |
| 1 | 10 |
| 2 | 15 |
| 3 | 5 |
| 4 | 10 |
| 5 | 15 |
| 6 | 5 |
| 7 | 10 |
| 8 | 15 |
df.groupby('key').mean()
| index | data |
|---|---|
| key | |
| A | 5 |
| B | 10 |
| C | 15 |
Apply
Apply是一个比较普遍的函数，将对象分割成区块，每个区块apply一个函数，再将结果粘合起来
def top(df,n=5,column='tip_pct'):
return df.sort_values(by=column)[-n:]
print(top(tips,n=6))
print(tips.groupby('smoker').apply(top)) #Apply函数应用排序功能，agg函数此时就不可以应用
##print(tips.groupby('smoker').agg(top))
print(tips.groupby(['smoker','day']).apply(top,n=1,column='total_bill')) #将apply的函数参数强行改成 n=1,按照total_bill排序
f = lambda x:x.describe()
print(grouped.apply(f)) #更加快捷的应用在每一列
print(tips.groupby('smoker').apply(top))
print(tips.groupby('smoker',group_keys=False).apply(top)) #离开复合index情况
Pivot Tables and Cross-Tabulation
Pivot Tables 类似excel中的数据透视表，思路什么的完全一致。
print(tips.pivot_table('size',index=['time','sex','smoker'],columns='day',aggfunc='sum',fill_value=0，margins=True))
#横轴为time,sex,smoker ，纵轴为day，算size总和，如果为空,填0,同时算总和
Paste_Image.png
