数据来源
数据来自于网站的消费数据，统计的时间是2017年1月到2018年6月。
分析内容
本网站主要分析以下内容
1、用户总体消费分析
1.1每月的总销售额
1.2 每月的消费次数
1.3每月的销量
1.4每月的消费人数
2、用户个体消费分析
2.1 用户消费金额，消费次数的描述统计
2.2 用户消费金额和销量的关系
2.3 用户消费金额分布
2.4 用户销量分布
2.4 用户累计消费金额占比
2.5 用户累计消费次数占比
3、用户消费行为分析
3.1 用户第一次消费分布（首购）
3.2 用户最后一次消费分布
3.3 多少用户仅消费了一次？ (一天内消费多次记作一次)
3.4 用户分层
- 按用户价值分层---RFM模型
- 按用户活跃程度分层---用户生命周期
4、复购率和回购率分析
下面是使用python对原数据进行分析：
1、数据导入
1.1 导入相关的库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
plt.style.use('ggplot')
1.2 数据导入
column = ['user_id','order_time','order_products','order_amount']
data = pd.read_table(r'H:\Datafrog\numpy\CDNOW_master.txt',sep = '\s+',names = column)
使用pd.to_datetime()解析时间
data['order_time'] = pd.to_datetime(data['order_time'],format = '%Y%m%d')
新增一列，按月统计时间
data['month'] = data['order_time'].values.astype('datetime64[M]')
整体数据如下：
2、用户总体消费分析
按月对用户的总体消费进行分析，首先将数据按月分组
month_grouped = data.groupby('month')
2.1每月的总销售额
month_grouped.order_amount.sum().plot()
前三个月的销售总额在30万元以上且由上升势头，从第四个月开始直接降低到10万元附近的水平，并保持相对稳定。
2.2 每月的消费次数
month_grouped.user_id.count().plot()
消费次数趋势与销售额一致，三个月在10000左右，后面下降到2500附近。
2.3每月的销量
month_grouped.order_products.sum().plot()
每个月的购买产品数量前三个月在25000，后面下降到5000-8000
2.4每月的消费人数
month_grouped.user_id.apply(lambda x: len(x.drop_duplicates())).plot()
或者data.groupby(['month','user_id']).count().reset_index().groupby('month').user_id.count().plot()
求每月购买的用户数，因为一个用户可能一个月内不止一次购买，因此需要对user_id进行去重操作。可以直接对分组后的user_id进行drop_duplicates()操作或者参照SQL语法直接使用groupby进行去重。从结果来看购买人数也是由前三个月的8000人以上降到后面的2000人不到。
还能分析出，比如每次消费的金额
(month_grouped.order_amount.sum()/month_grouped.user_id.count()).plot()
以及每位用户的消费次数
(month_grouped.user_id.count())/(month_grouped.user_id.apply(lambda x: len(x.drop_duplicates())))
可以看出，平均消费次数还是在增加的。
从按月的总体消费数据来看，销售额，购买次数，销售量，和购买人数呈现出相同的趋势，在前三个月属于高位，从第四个月开始迅速下降到只有前三个月的1/4到1/3之间，原因可能与前三个月的推广活动有关。
也可以使用数据透视表，但是这里不好对用户进行去重。
pivot_month = data.pivot_table(index = 'month',
values = ['user_id','order_products','order_amount'],
aggfunc = {'user_id':'count',
'order_products':'sum',
'order_amount':'sum'})
2、用户个体消费分析
2.1 用户消费金额，消费次数的描述统计
user_grouped.agg({'order_products':'count','order_amount':'sum'}).describe()
用户平均消费次数是2.95次，有75%的用户消费次数在3次及以下，有少部分用户提供了大量的购买次数 消费金额类似，平均值与75%分位数接近，数据明显左偏，受极值影响较大
2.2 用户消费金额和销量的关系
制作销售量与销售额的散点图
user_grouped.sum().query('order_amount<4000').plot.scatter(x = 'order_products',y = 'order_amount')
从散点图可以看出，消费的商品数与消费金额存在一定的线性关系，说明客单价比较稳定，可以使用query()函数进行数据过滤，排除极值的影响，scatter()前面需要加plot
2.3 用户消费金额分布
user_grouped.sum().order_amount.plot.hist(bins = 20)
从直方图可以看出，大部分用户的消费金额很低
2.4 销量分布
user_grouped.sum().query('order_products<100').order_products.plot.hist(bins = 40)
大部分购买行为下的购买次数都比较少
2.4 用户累计消费金额占比
user_cumsum = user_grouped.sum().sort_values(by = 'order_amount').apply(lambda x:x.cumsum()/x.sum())
user_cumsum.reset_index().order_amount.plot()
使用cumsum进行累加,可以使用apply()然后用cumsum()/sum()得出前面一部分用户的占比，当然也可以直接排序后除以总金额，作图时需使用reset_index()
从该图可以看出，前面4000名用户贡献了60%的销费额，排名靠后的50%用户只贡献了15%的消费额，因此可以认为维护前面5000名用户对于提升消费额效果是明显的
2.5 用户累计消费次数占比
user_cumsum = user_grouped.count().sort_values(by = 'order_products').apply(lambda x:x.cumsum()/x.sum())
user_cumsum.reset_index().order_products.plot()
前4000名用户和后20000名用户的消费次数几乎是一样的。
3、用户消费行为分析
3.1 用户第一次消费分布（首购）
user_grouped.order_time.min().value_counts().plot()
首次购买发生在前面三个月。
3.2 用户最后一次消费分布
user_grouped.order_time.max().value_counts().plot()
用户最后一次购买集中在前面三个月，最后一次购买与用户流失挂钩
3.3 多少用户仅消费了一次？ (一天内消费多次记作一次)
user_life = user_grouped.order_time.agg(['min','max'])
(user_life['min']==user_life['max']).value_counts()
可以看出，接近一半的用户只消费了一次。
3.4 用户分层
- 按用户价值分层---RFM模型
R：最近一次购买的时间
F：消费频次
M：购买金额
rfm = data.pivot_table(index = 'user_id',
values = ['order_time','order_products','order_amount'],
aggfunc = {'order_time': 'max',
'order_products':'sum',
'order_amount':'sum'})
rfm.head()
rfm['R'] = (rfm.order_time.max()-rfm.order_time)/np.timedelta64(1,'D')
rfm.rename(columns={'order_amount': 'M','order_products':'F'},inplace = True)
rfm[['R','F','M']].apply(lambda x: x-x.mean()).head()
def rfm_func(x):
level = x.apply(lambda x: '1' if x>0 else '0')
label = level.R+level.F+level.M
label_dict = {
'111':'重要价值客户',
'011':'重要保持客户',
'101':'重要发展客户',
'001':'重要挽留客户',
'110':'一般价值客户',
'010':'一般保持客户',
'100':'一般发展客户',
'000':'一般挽留客户'
}
result = label_dict[label]
return result
rfm['label'] = rfm[['R','F','M']].apply(lambda x: x-x.mean()).apply(rfm_func,axis = 1)
color_dict = {
'重要价值客户':'g',
'重要保持客户':'c',
'重要发展客户':'skyblue',
'重要挽留客户':'m',
'一般价值客户':'pink',
'一般保持客户':'tan',
'一般发展客户':'gold',
'一般挽留客户':'r'
}
rfm['color'] = rfm.label.map(color_dict)
rfm.plot.scatter('F','R',c = rfm.color)
#map()用法，将pandas某一列通过字典映射出新的一列：新列=旧列.map(字典)
查看各层次用户的消费金额
rfm.groupby('label').sum()
RFM用户分层来看，大部分的消费额是由重要保持客户提供的，这部分用户确实需要好好维护
- 按用户活跃程度分层---用户生命周期
用户的生命周期包括：新客、活跃、不活跃、流失、回流等状态。
pivot_counts = data.pivot_table(index = 'user_id',
columns = 'month',
values = 'order_time',
aggfunc = 'count')
def active_state(data):
state = []
for i in range(18):
if data[i] == 0:
#本月没有购买
if len(state)>0:
if state[i-1] == 'unreg':
state.append ('unreg')
else:
state.append ('unactive')
else:
state.append ('unreg')
else:
#本月购买了
if len(state) == 0:
state.append ('new')
else:
if state[i-1] == 'unreg':
state.append ('new')
elif state[i-1] == 'unactive':
state.append ('return')
else:
state.append ('active')
return state
purchase_state = purchase.apply(active_state,axis=1)
purchase_state_ct = purchase_state.replace({'unreg':np.nan}).apply(lambda x: x.value_counts())
purchase_state_ct.fillna(0).T
purchase_state_ct.fillna(0).T.plot.area()
可以看出，新客在前三个月的占有量非常高，随着时间的推移新客、活跃用户和回流用户的占比维持着一个较稳定的水平。
3.5用户购买的时间间隔
order_diff = user_grouped.apply(lambda x:x.order_time - x.order_time.shift())
(order_diff/np.timedelta64(1,'D')).hist(bins = 40)
user_life_T = (user_life['max']-user_life['min'])/np.timedelta64(1,'D')
user_life_T[user_life_T.values>0].hist(bins = 40)
4、回购率和复购率
先看复购率
purchase_r = pivot_counts.applymap(lambda x: 1 if x>1 else 0 if x == 1 else np.nan)
(purchase_r.sum()/purchase_r.count()).plot(figsize = (10,4))
可以看出，从第四个月开始的复购率稳定在20%左右。
再看回购率
def purchase_back(data):
status = []
for i in range(17):
if data[i]>0:
if data[i+1]>0:
status.append(1)
else:
status.append(0)
else:
status.append(np.nan)
status.append(np.nan)
return status
purchase_back = pivot_counts.apply(purchase_back,axis = 1)
(purchase_back.sum()/purchase_back.count()).plot(figsize = (10,4))
从第四个月开始的回购率在30%左右，随月份波动。
