pandas基础笔记(1)--Series、DataFrame操作

size() 和count()的区别

size跟count的区别： size计数时包含NaN值，而count不包含NaN值

user_df = user_df.groupby(['uid','time'])[['qid_time']].count()
# 返回值为DF

user_df = user_df.groupby(['uid','time'])[['qid_time']].size()..reset_index(name='new_columns')
# 返回值为Series，需要.reset_index(name='new_columns')多列才能转成DF

df.drop()和del df['column']的区别

1）直接del DF[‘column-name’]
被普遍认为不是最好的方法，建议慎用，参考：https://stackoverflow.com/questions/13411544/delete-column-from-pandas-dataframe-by-column-name
2）采用drop方法，有下面三种等价的表达式：

DF= DF.drop(‘column_name’, 1)；

DF.drop(‘column_name’,axis=1, inplace=True)

DF.drop([DF.columns[[0,1,]]], axis=1,inplace=True)

参考：https://blog.csdn.net/claroja/article/details/65661826

loc 和iloc 的用法

loc[row][‘column_name’]就可以取得对应row行数的字段值
user_df = user_df.groupby(['uid','time'])[['qid_time']].mean().reset_index()
# 索引重建后就是行号
user_df = user_df.groupby(['uid','time'])[['qid_time']].mean()
# 这种方式索引不是顺序自增，无法按行用行号索引遍历
print(type(user_df))

# 多值输出，格式转为Series了（一般用的很少）
print(user_df.loc[2][['time','uid']])
<class 'pandas.core.series.Series'>
time    2019-01-06 12:03:35
uid                  128758

# 这样可以唯一定位某一行某一列
print(user_df.loc[2,'time'])
2019-01-06 12:03:35

# 定位 多行 一列
print(user_df.loc[2:5,['time','uid']])
                  time     uid
2  2019-01-06 12:03:35  128758
3  2019-01-06 12:05:35  128758
4  2019-01-06 12:07:35  128758
5  2019-01-06 12:09:35  128758

# 定位 多行 多列
print(user_df.loc[2:5,'uid':'qid_time'])
  uid                 time  qid_time
2  128758  2019-01-06 12:03:35       2.0
3  128758  2019-01-06 12:05:35       2.0
4  128758  2019-01-06 12:07:35       2.0

df.loc[1:3, ['total_bill', 'tip']]
df.loc[1:3, 'tip': 'total_bill']
df.iloc[1:3, [1, 2]]
df.iloc[1:3, 1: 3]
df.at[3, 'tip']
df.iat[3, 1]
df.ix[1:3, [1, 2]]
df.ix[1:3, ['total_bill', 'tip']]
df[1: 3]
df[['total_bill', 'tip']]
# df[1:2, ['total_bill', 'tip']]  # TypeError: unhashable type
参考：https://www.cnblogs.com/en-heng/p/5630849.html

.reset_index(drop=Ture)的解释

对于经过运算的数据来说，默认索引可能是计算时的基准列，不重置的话索引没有规律，不利于定位，索引可能是单列或者多列的组合索引，重置后统一为一列自增索引，如果选择drop的话，原索引会被删除，不drop的话老的索引会成为新结果的普通列数据（单列或多列），索引默认是不会存入表中（也可以在选择保存索引），索引也不是能参与计算的数据，只是表的一个属性

对Series.reset_index()

print(type(user_df['uid']))
print(user_df['uid'].head(3))

print(type(user_df['uid'].reset_index()))
print(user_df['uid'].reset_index().head(3))

print(type(user_df['uid'].reset_index(drop=True)))
print(user_df['uid'].reset_index(drop=True).head(3))
# 输出：
<class 'pandas.core.series.Series'>
0    128758
1    128758
2    128758

<class 'pandas.core.frame.DataFrame'>
  index     uid
0      0  128758
1      1  128758
2      2  128758

<class 'pandas.core.series.Series'>
0    128758
1    128758
2    128758

# 其他例子：
user_df = user_df.groupby(['uid'])['qid_time'].mean()
<class 'pandas.core.series.Series'>
uid
128758    0.918033
181094    0.086957
182392    0.655738

user_df = user_df.groupby(['uid'])['qid_time'].mean().reset_index()
# 此处因为多了新的一列，所以Series的类型自动转化成DataFrame类型，
# 若drop=true,那数据还是一列的情况下，不会转化成Dataframe
      uid  qid_time
0   128758  0.918033
1   181094  0.086957
2   182392  0.655738

对DF.reset_index()

print(type(user_df[['uid']]))
print(user_df[['uid']].head(3))
print(type(user_df[['uid']].reset_index()))
print(user_df[['uid']].reset_index().head(3))
print(type(user_df[['uid']].reset_index(drop=True)))
print(user_df[['uid']].reset_index(drop=True).head(3))
输出：
<class 'pandas.core.frame.DataFrame'>
      uid
0  128758
1  128758
2  128758
<class 'pandas.core.frame.DataFrame'>
   index     uid   # index列表示原来的索引列
0      0  128758
1      1  128758
2      2  128758
<class 'pandas.core.frame.DataFrame'>
      uid
0  128758
1  128758
2  128758

# 其他例子
# 未重置之前
user_df = user_df.groupby(['uid'])[['qid_time']].mean()
       qid_time
uid             
128758  0.918033
181094  0.086957
182392  0.655738

# 重置索引后，将原来的索引列uid转化为普通列，新增自增索引列
user_df = user_df.groupby(['uid'])[['qid_time']].mean().reset_index()
       uid  qid_time
0   128758  0.918033
1   181094  0.086957
2   182392  0.655738

# 重置索引后，添加drop=Ture,表示将原来的默认索引列uid删除
user_df = user_df.groupby(['uid'])[['qid_time']].mean().reset_index(drop=True)
    qid_time
0   0.918033
1   0.086957
2   0.655738

df.groupby().agg() ，df. groupby().apply()

groupdf=df.groupby(df['key1'])
    for name,group in groupdf:
        print group  # 分完组的小组  dataframe类型对象
        # print name    # name 是分组的关键字


分组统计任务，保留索引列
user_df[['uid','qid','min','max','mean']]=user_df.groupby(['uid','qid']
.agg({'qid_time':[np.min, np.max, np.mean]}).reset_index()

实现sql中的group_concat功能
df.groupby('team').apply(lambda x: ','.join(x.user))
df.groupby('team').apply(lambda x: list(x.user))
df.groupby('team').agg({'user' : lambda x: ', '.join(x)})
参考：https://stackoverflow.com/questions/18138693/replicating-group-concat-for-pandas-dataframe

dataframe需要操作列时，啥时候用单中括号/双中括号?

当直接使用df后接一个中括号时，表示取其一列，类型为Series，接2个中括号时，也是取一列，但类型为DataFrame(带有列名)

print(type(df['uid']))
<class 'pandas.core.series.Series'>
# 输出如下
0       128758.0
1       128758.0
2       128758.0
3       128758.0

print(type(user_df[['uid']]))
<class 'pandas.core.frame.DataFrame'>
# 输出如下
           uid
0     128758.0
1     128758.0
2     128758.0
3     128758.0

groupby进行分组聚合时

print(type(user_df['uid']))
print(type(user_df[['uid']]))
print(type(user_df['uid','qid_time']))
print(type(user_df[['uid', 'qid_time']]))

<class 'pandas.core.series.Series'>
<class 'pandas.core.frame.DataFrame'>
错误，没有这种语法
<class 'pandas.core.frame.DataFrame'>


# 单括号，则输出时不会带有列标签，末尾会单独输出一行属性列，输出类型为Series
user_df = user_df.groupby(['uid'])['qid_time'].mean()
print(type(user_df))
<class 'pandas.core.series.Series'>
uid
128758    0.918033
181094    0.086957
182392    0.655738

# 双括号 ，若对需要聚合的单列使用双中括号，则输出时会带有列标，输出类型为DF
user_df = user_df.groupby(['uid'])[['qid_time']].mean()
print(type(user_df))
<class 'pandas.core.frame.DataFrame'>
# 输出如下，但不带排序自增索引列，此处uid为默认索引列
        qid_time
uid             
128758  0.918033
181094  0.086957
182392  0.655738
# 若需要将多列进行聚合时，单中括号和双中括号没有区别
user_df = user_df.groupby(['uid'])['qid_time','time'].mean()
user_df = user_df.groupby(['uid'])[['qid_time','time']].mean()
# 两个输出一致，因为结果集至少两列，所以类型只能是DataFrame，单括号的结果也会自动转化

# 在groupby()的括号中的参数只能是Series，多列分组使用[column1,column2],不能采用[['column1,columns2]]或df[[column1,columns2]]传参，可以使用df[column1],column只能为一个,因为df['column1']类型也为Series
user_df = user_df.groupby(['uid','time'])[['qid_time']].mean()
<class 'pandas.core.frame.DataFrame'>
                            qid_time
uid    time                         
128758 2019-01-06 11:55:35  2.000000
       2019-01-06 12:01:35  1.000000
       2019-01-06 12:03:35  2.000000
       
user_df = user_df.groupby(['uid','time'])['qid_time'].mean()
<class 'pandas.core.series.Series'> # 这里类型的区别在于后面的单双括号
uid     time                        # 此处两列作为一个组合索引
128758  2019-01-06 11:55:35    2.000000
        2019-01-06 12:01:35    1.000000
        2019-01-06 12:03:35    2.000000
        
user_df = user_df.groupby(['uid','time'])['qid_time'].mean().reset_index()
<class 'pandas.core.frame.DataFrame'>  
# 此处两列作为一个组合索引，重置后为常规列
         uid                 time  qid_time
0     128758  2019-01-06 11:55:35  2.000000
1     128758  2019-01-06 12:01:35  1.000000
2     128758  2019-01-06 12:03:35  2.000000

user_df = user_df.groupby(['uid','time'])['qid_time'].mean().reset_index(drop=True)
<class 'pandas.core.series.Series'>  # 两列索引同时删除，生成新索引
0       2.000000
1       1.000000
2       2.000000

series 如何转成DataFrame？

如果是单列索引的Series

s.to_frame(name='column_name')

如果是多列组合索引

s.reset_index(name='column_name')

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 214,588评论 6赞 496
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 91,456评论 3赞 389
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 160,146评论 0赞 350
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 57,387评论 1赞 288
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 66,481评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,510评论 1赞 293
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,522评论 3赞 414
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,296评论 0赞 270
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,745评论 1赞 307
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,039评论 2赞 330
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,202评论 1赞 343
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,901评论 5赞 338
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,538评论 3赞 322
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,165评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,415评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,081评论 2赞 365
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,085评论 2赞 352