# 导入第三方包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline #可视化显示在页面，其中%是jupter专属，其他IDE不适用
plt.style.use('ggplot') # 更改设计风格
columns = ['user_id','order_dt','order_products','order_amount']
df = pd.read_table('CDNOW_master.txt',names = columns,sep='\s+') # CDNOW_master.txt是一个公司的销售数据
df.head() # 查看数据导入情况
df.info() # 查看各列数据类型
df.describe() # 对数据进行简单的描述统计
df['order_dt'] = pd.to_datetime(df.order_dt,format = '%Y%m%d') #将order_dt转化成时间格式
df['month'] = df.order_dt.values.astype('datetime64[M]')
# 按月分析
grouped_month = df.groupby('month')
order_month_amount = grouped_month.order_amount.sum() # 按月分组，对order_amount进行求和
order_month_amount.head()
order_month_amount.plot()
grouped_month.user_id.count().plot() # 按月对销售订单数量进行计数
grouped_month.order_products.sum().plot() # 按月对商品数目进行求和
df.groupby('month').user_id.apply(lambda x:len(x.drop_duplicates())).plot()
# 或者
df.groupby(['month','user_id']).count().reset_index()
# 以上两行是按月对唯一的user_id进行计数
# 数据透视表也可完成上述三个按月分析的操作
df.pivot_table(index = 'month',values = ['order_products','order_amount','user_id'],
aggfunc = {'order_products':'sum','order_amount':'sum','user_id':'count'})
# 用户个体消费分析
grouped_user = df.groupby('user_id')
grouped_user.sum().describe()
grouped_user.sum().plot.scatter(x = 'order_amount',y = 'order_products') # 对每个用户的消费金额绘制散点图
grouped_user.sum().query('order_amount<6000').plot.scatter(x = 'order_amount',y = 'order_products')
# 上条语句画出的散点图可以明显的看出有几个极值，query()的作用就相当于sql里的where，过滤掉了极值
grouped_user.sum().order_amount.plot.hist(bins = 10) #对每个用户的order_amount绘制直方图
grouped_user.sum().query('order_amount<100').order_amount.plot.hist(bins = 10)
# 注释同上上条同理，另使用切比雪夫定理过滤掉异常值：
#所有数据中，至少有96%的数据位于平均数的5个标准差范围内
user_cumsum = grouped_user.sum().sort_values('order_amount').apply(lambda x:x.cumsum() / x.sum())
user_cumsum.reset_index().order_amount.plot() # 对每个用户的order_amount占总体的百分比分布的图片
# 用户消费行为
grouped_user.min().order_dt.value_counts().plot() # 首单消费的时间分布
grouped_user.max().order_dt.value_counts().plot() # 最后消费的时间分布
user_life = grouped_user.order_dt.agg(['min','max'])
user_life.head()
(user_life['min'] == user_life['max']).value_counts() # 先判别新老客户，再进行计数
rfm = df.pivot_table(index = 'user_id',
values = ['order_products','order_amount','order_dt'],
aggfunc = {'order_products':'max',
'order_amount':'sum',
'order_dt':'count'
})
rfm['R']=-(rfm.order_dt - rfm.order_dt.max())
\# 视频中语句为rfm['R'] = -(rfm.order_dt - rfm.order_dt.max())/np.timedelta64(1,'D')，但分子已经是数值，不是数值+单位（day）
rfm.rename(columns={'order_products':'F','order_amount':'M'},inplace = True)
rfm[['R','F','M']].apply(lambda x:x-x.mean())
def rfm_func(x):
level = x.apply(lambda x:'1' if x>0 else '0')
label = level.R + level.F + level.M
d = {'111':'重要价值客户',
'011':'重要保护客户',
'101':'重要挽留客户',
'001':'重要发展客户',
'110':'一般价值客户',
'010':'一般保持客户',
'100':'一般挽留客户',
'101':'一般发展客户'
}
result = d[label]
return result
rfm['label'] = rfm[['R','F','M']].apply(lambda x:x-x.mean()).apply(rfm_func,axis=1)
rfm.loc[rfm.label =='重要价值客户'] = 'g'
rfm.loc[~rfm.label =='重要价值客户'] = 'r'
rfm.plot.scatter('F','R',c = rfm.color)
