笨办法学分析[04]Python用户重复购买数据整理

1、需求:

假设有一个用户产品购买记录名单,我们想整理出用户购买订单的前一个订单的信息,形成表格。示例如下:

用户购买记录,已按user_id和oder_time排序
期望得到的结果

如图所示,实际上就是将1001订单的信息增加几列放到1002后面。
字段解释:
user_id:用户id
order_id:订单号
oder_time:购买时间
product_type:商品类型
amount:商品金额
buy_times:第几次购买
pre后缀:表示前一个订单的相关信息

2、思路和解决方法1:

思路:
以原始思维的角度,实现最终效果有以下步骤:
1、选取每一个用户的所有记录
2、对用户购买次数排序,产生新列buy_times
3、对每一条购买记录进行整理,如果是该用户的第一条记录,则pre列为空;如果非第一条记录,则在pre列增加前一条数据记录
4、合并整理好的数据
5、输出结果

Python3代码:

%python 3
import pandas as pd

#思路1
#读取数据
ini_df=pd.read_excel('file:///D:/Python/170818购买产品前后关系.xlsx',
                     sheetname='模拟数据')
#获取不重复的user_id,以便进行遍历
dist_id=ini_df['user_id'].drop_duplicates()
#直接提取大于1和等于1次的用户
freq=ini_df['user_id'].value_counts().reset_index()
onetime_user=freq[freq['user_id']==1]['index']
multtime_user=freq[freq['user_id']>1]['index']
#循环处理用户第二个及以上订单
#定义最终数据
final_data=pd.DataFrame()
for user_id in multtime_user:
    #筛选user_id对应的订单信息
    mid_data=ini_df[ini_df['user_id']==user_id]
    print(user_id)
    #删除原索引以方便后期对索引进行操作
    mid_data=mid_data.reset_index(drop=True)
    for i in range(len(mid_data)-1):
        #获取当前订单信息
        each_data_a=mid_data.iloc[[i]].reset_index(drop=True)
        #获取前一个订单信息
        each_data_b=mid_data.iloc[[i+1]].reset_index(drop=True)
        #将前一个订单信息合并到当前订单中
        each_data=pd.merge(each_data_a,each_data_b,left_index=True,right_index=True,suffixes=('_pre',''))
        #将新的数据添加到最终数据中
        final_data=final_data.append(each_data)
#筛选用户第一个订单,并进行数据合并
first_order=ini_df.drop_duplicates('user_id')
final_data=final_data.append(first_order)
#对数据增加购买次数和对列排序
#重设index后才能进行分组排序
final_data.reset_index(drop=True,inplace=True)
final_data['buy_times']=final_data['order_time'].groupby(final_data['user_id']).rank()
#整理结果,去掉不需要的列,并对列排序
final_data=final_data[['user_id', 'buy_times', 'order_id', 'order_time', 'product_type','amount', 
                        'order_id_pre', 'order_time_pre', 'product_type_pre', 'amount_pre']]
#对行排序,恢复初始数据绣工
final_data.sort_values(by=['user_id','order_time'],inplace=True)
final_data.reset_index(drop=True,inplace=True)
#存储数据
final_data.to_csv('结果.csv')

预览一下结果,好像没什么不对
2、思路和解决方法2:

上述方法很符合人的基本思维,快速思考出结果,但是程序繁琐,运行效率很低。
仔细观察数据结构,其实我们发现对每一个用户,只需要对其购买的第n+1个产品,后面加上第n个产品的信息就可以了。
于是,可以利用pandas的DataFrame的特性,复制相同的一个DataFrame,使用merge方法,将两个DataFrame合并即可。合并的连接方式,即通过user_id相等,left.buy_times=right.buy_times-1。

Python3代码:

%python 3
import pandas as pd

#思路2
#读取数据
ini_df=pd.read_excel('file:///D:/Python/170818购买产品前后关系.xlsx',
                     sheetname='模拟数据')
#添加每个用户的购买次数列
ini_df['buy_times']=ini_df['order_time'].groupby(ini_df['user_id']).rank()
#创建一个相同的辅助数据
assit_df=ini_df
assit_df['buy_times2']=assit_df['buy_times']+1
#合并数据
rebuy_df=pd.merge(ini_df,assit_df,left_on=['user_id','buy_times'],right_on=['user_id','buy_times2'],
                  how='left',suffixes=('','_pre'))
#筛选需要的列
rebuy_df=rebuy_df[['user_id', 'buy_times', 'order_id', 'order_time', 'product_type','amount', 
                        'order_id_pre', 'order_time_pre', 'product_type_pre', 'amount_pre']]
#存储数据
rebuy_df.to_csv('结果2.csv')
再看结果,貌似也没什么不对

以上两种处理方法,在80万条数据的处理中,第一种方法跑了一天没跑出来,而第二种几分钟之内就出了结果。所以,处理问题时,思路相当重要。

3、思路和解决方法3:

实际上,有了思路2就会发现,解决问题的工具也显得并不那么重要。既然数据已经排好了序,观察可以见pre列数据总滞后于原始数据一行。因此,在Excel中,我们首先使用公式计算出购买次数(buy_times);然后复制数据的第一行到倒数第二行,粘贴到pre列的第二行;最后筛选出buy_times=1,清除pre列的数据即得到最终结果。

数据资料附件:数据 密码: dbup

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,928评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,192评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,468评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,186评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,295评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,374评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,403评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,186评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,610评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,906评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,075评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,755评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,393评论 3 320
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,079评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,313评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,934评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,963评论 2 351

推荐阅读更多精彩内容