看板封面.png
1 读取数据
import pandas as pd
import numpy as np
df = pd.read_csv(r'alldata(随机抽15万样本).csv',low_memory=False)
df['时间戳']= pd.to_datetime(df['时间戳'])
df['月度'] = df['时间戳'].dt.year.astype(str)+'/'+df['时间戳'].dt.month.astype(str)
df['月度'] = pd.to_datetime(df['月度'],format='%Y/%M').dt.strftime('%Y-%M')
df['年度'] = df['时间戳'].dt.year
df['年度'] = df['年度'].astype(str)
df['日度'] = df['时间戳'].dt.date
df
image.png
1.2 每日不同产品线的同期数据
df_cateperday_2022 = (df.set_index('时间戳').query("年度=='2022'")
.groupby('产品').用户.resample('D')
.count().to_frame('2022')
.reset_index()
.assign(月 = lambda x:x['时间戳'].dt.month
,日度 = lambda x:(x['时间戳'].dt.date).astype(str)
,日期 = lambda x:x['日度'].apply(lambda x:x.split('2022-')[1])
)
)[['月','产品','日期','2022']]
df_cateperday_2021 = (df.set_index('时间戳').query("年度=='2021'")
.groupby('产品').用户.resample('D')
.count().to_frame('2021')
.reset_index()
.assign(月 = lambda x:x['时间戳'].dt.month
,日度 = lambda x:(x['时间戳'].dt.date).astype(str)
,日期 = lambda x:x['日度'].apply(lambda x:x.split('2021-')[1])
)
)[['月','产品','日期','2021']]
mer_result_li = pd.merge(df_cateperday_2021,df_cateperday_2022,how='outer')
mer_result_li['2021'] = mer_result_li['2021'].fillna(0)
mer_result_li
image.png
1.2.1 验证一下产品A在2021年和2022年1月2日中的数据
len(df[(df['时间戳']>='2021-01-02')&(df['时间戳']<'2021-01-03')].query("产品=='A'")),len(df[(df['时间戳']>='2022-01-02')&(df['时间戳']<'2022-01-03')].query("产品=='A'"))
Out:(28, 17)
1.3 构造一个新的产品数据，其类型为：“所有数据”
all_li_2021 = (df.set_index('时间戳').query("年度=='2021'")
.用户.resample('D')
.count().to_frame('2021')
.reset_index()
.assign(月 = lambda x:x['时间戳'].dt.month
,产品 = '所有数据'
,日度 = lambda x:(x['时间戳'].dt.date).astype(str)
,日期 = lambda x:x['日度'].apply(lambda x:x.split('2021-')[1])
)
)[['月','产品','日期','2021']]
all_li_2022 = (df.set_index('时间戳').query("年度=='2022'")
.用户.resample('D')
.count().to_frame('2022')
.reset_index()
.assign(月 = lambda x:x['时间戳'].dt.month
,产品 = '所有数据'
,日度 = lambda x:(x['时间戳'].dt.date).astype(str)
,日期 = lambda x:x['日度'].apply(lambda x:x.split('2022-')[1])
)
)[['月','产品','日期','2022']]
All_li = pd.merge(all_li_2021,all_li_2022,how='outer')
All_li['2021'] = All_li['2021'].fillna(0)
All_li
注意将2021年的缺失值补为0，2022年的不需要，否则做折线图的时候会有很长一段为0的数据，影响视觉效果。
image.png
1.3.1 验证1月1日的数据
len(df[(df['时间戳']>='2021-01-01')&(df['时间戳']<'2021-01-02')]),len(df[(df['时间戳']>='2022-01-01')&(df['时间戳']<'2022-01-02')])
[Out]:(37, 32)
1.4 拼接两个模块的数据
concat_apply_counts = (pd.concat([mer_result_li,All_li])#
.assign(aa = lambda x:np.where(x['日期']<'04-29',x['2022'].fillna(0),np.NaN))
.drop(labels='2022',axis=1).rename(columns={'aa':'2022'})
)#.to_clipboard()
concat_apply_counts
注意中间有个np.where的方法，当日期小于4月29日时，2022年的那一列填补缺失值为0，否则记为空值。
image.png
1.4.1 优化小于日期的功能
每次运行程序尽量不要手动改日期，形成通用的数据处理流程应根据这张表的时间戳字段的最新日期作为数值，即数据更新到哪儿了。
查看新时间戳
image.png
+pd.DateOffset(days=1)可以使日期加上一天
image.png
str转成字符串
image.png
最后取出相应的内容
image.png
concat_apply_counts = (pd.concat([mer_result_li,All_li])#
.assign(aa = lambda x:np.where(x['日期']<str(df['时间戳'].max()+pd.DateOffset(days=1))[5:10],x['2022'].fillna(0),np.NaN))
.drop(labels='2022',axis=1).rename(columns={'aa':'2022'})
)#.to_clipboard()
concat_apply_counts
这时，时间戳字段就不能用lambda函数里面的x了，因为它代表了pd.concat中的那张表，因此得使用最开始的那张df表。
2 构造每日不同产品的用户数量（中间有大坑）
假设aaa用户2021年1月1日，A产品，20次记录。B产品，0次记录。倘若用resample.count的方法，用户数本应该是1个，但会记为2个。如果用resample.sum也是不行的。而且，当2021年1月2日，aaa用户没有记录时，resample模块会自动生成日期，并使得相应的数据等于0，那么第二次groupby的时候，一样会记录一次数据。
面对这样的情形，resample就不合适了。需要通过时间戳构造一列日期，所以第一次读取数据时将日期做了处理。那么，没有发生的数据就不会多出日期，并且对应数值为0的情况。
2.1 每个产品线的用户数量
df_organ_cate_2022 = (df.query("年度=='2022'").groupby(['日度','用户','产品']).日度.count().to_frame('次数').reset_index()
.groupby(['日度','产品']).用户.count().to_frame('2022点数').reset_index()
.assign(日期 = lambda x:pd.to_datetime(x['日度'])
,月 = lambda x:x['日期'].dt.month
)
)[['月','产品','日期','2022点数']]
df_organ_cate_2022['日期'] = df_organ_cate_2022['日期'].astype(str).apply(lambda x:x.split('2022-')[1])
df_organ_cate_2021 = (df.query("年度=='2021'").groupby(['日度','用户','产品']).日度.count().to_frame('次数').reset_index()
.groupby(['日度','产品']).用户.count().to_frame('2021点数').reset_index()
.assign(日期 = lambda x:pd.to_datetime(x['日度'])
,月 = lambda x:x['日期'].dt.month
)
)[['月','产品','日期','2021点数']]
df_organ_cate_2021['日期'] = df_organ_cate_2021['日期'].astype(str).apply(lambda x:x.split('2021-')[1])
mer_result_cate = pd.merge(df_organ_cate_2021,df_organ_cate_2022,how='outer')
mer_result_cate['2021点数'] = mer_result_cate['2021点数'].fillna(0)
mer_result_cate
image.png
2.2 所有产品线的用户数量
df_organ_all_2022 = (df.query("年度=='2022'").groupby(['日度','用户']).日度.count().to_frame('次数').reset_index()
.groupby(['日度']).用户.count().to_frame('2022点数').reset_index()
.assign(日期 = lambda x:pd.to_datetime(x['日度'])
,月 = lambda x:x['日期'].dt.month
,产品 = '所有数据'
#,年度 =
)
)[['月','产品','日期','2022点数']]
df_organ_all_2022['日期'] = df_organ_all_2022['日期'].astype(str).apply(lambda x:x.split('2022-')[1])
df_organ_all_2021 = (df.query("年度=='2021'").groupby(['日度','用户']).日度.count().to_frame('次数').reset_index()
.groupby(['日度']).用户.count().to_frame('2021点数').reset_index()
.assign(日期 = lambda x:pd.to_datetime(x['日度'])
,月 = lambda x:x['日期'].dt.month
,产品 = '所有数据'
#,年度 =
)
)[['月','产品','日期','2021点数']]
df_organ_all_2021['日期'] = df_organ_all_2021['日期'].astype(str).apply(lambda x:x.split('2021-')[1])
mer_result_all = pd.merge(df_organ_all_2021,df_organ_all_2022,how='outer')
mer_result_all['2021点数'] = mer_result_all['2021点数'].fillna(0)
mer_result_all
image.png
2.3 合并一下
concat_apply_members = (pd.concat([mer_result_cate,mer_result_all])#
.assign(aa = lambda x:np.where(x['日期']<'04-29',x['2022点数'].fillna(0),np.NaN))
.drop(labels='2022点数',axis=1).rename(columns={'aa':'2022点数'})
)
concat_apply_members
image.png
2.4 验证1月1日A产品的用户量
len(df[(df['时间戳']>='2021-01-01')&(df['时间戳']<'2021-01-02')].query("产品=='A'")['用户'].unique()),len(df[(df['时间戳']>='2022-01-01')&(df['时间戳']<'2022-01-02')].query("产品=='A'")['用户'].unique())
[Out]:(14, 8)
2.5 用每日数据量左连接每日用户量，并粘贴到excel中
(pd.merge(concat_apply_counts,concat_apply_members,how='left')
.assign(aa2021 = lambda x:x['2021点数'].fillna(0)
,aa2022 = lambda x:np.where(x['日期']<'04-29',x['2022点数'].fillna(0),np.NaN)
)
.drop(labels=['2021点数','2022点数'],axis=1)
.rename(columns={'aa2021':'2021点数','aa2022':'2022点数'})
).to_clipboard(index=None,excel=True)#to_clipboard相当于复制，打开excel粘贴即可将数据传入excel内
2.6 尝试写一个类
默认使用2022年作为最新数据，同期年份有所保留，是为了方便测试其他年份的数据
import pandas as pd
import numpy as np
df = pd.read_csv(r'alldata(随机抽15万样本).csv',low_memory=False)
df['时间戳']= pd.to_datetime(df['时间戳'])
df['月度'] = df['时间戳'].dt.year.astype(str)+'/'+df['时间戳'].dt.month.astype(str)
df['月度'] = pd.to_datetime(df['月度'],format='%Y/%M').dt.strftime('%Y-%M')
df['年度'] = df['时间戳'].dt.year
df['年度'] = df['年度'].astype(str)
df['日度'] = df['时间戳'].dt.date
class Streaming_perday:
def __init__(self,data,nowyear='2022',lastyear=None):
self.data = data
self.nowyear = nowyear
self.nowformat = '%s点数'%self.nowyear
self.lastyear = lastyear
self.lastformat = '%s点数'%self.lastyear
def perday_num(self):
df_cateperday_2022 = (self.data.set_index('时间戳').query("年度=='%s'"%self.nowyear)
.groupby('产品').用户.resample('D')
.count().to_frame('%s'%self.nowyear)
.reset_index()
.assign(月 = lambda x:x['时间戳'].dt.month
,日度 = lambda x:(x['时间戳'].dt.date).astype(str)
,日期 = lambda x:x['日度'].apply(lambda x:x.split('%s-'%self.nowyear)[1])
)
)[['月','产品','日期','%s'%self.nowyear]]
df_cateperday_2021 = (self.data.set_index('时间戳').query("年度=='%s'"%self.lastyear)
.groupby('产品').用户.resample('D')
.count().to_frame('%s'%self.lastyear)
.reset_index()
.assign(月 = lambda x:x['时间戳'].dt.month
,日度 = lambda x:(x['时间戳'].dt.date).astype(str)
,日期 = lambda x:x['日度'].apply(lambda x:x.split('%s-'%self.lastyear)[1])
)
)[['月','产品','日期','%s'%self.lastyear]]
mer_result_li = pd.merge(df_cateperday_2021,df_cateperday_2022,how='outer')
mer_result_li['%s'%self.lastyear] = mer_result_li['%s'%self.lastyear].fillna(0)
#所有数据的resample
all_li_2021 = (self.data.set_index('时间戳').query("年度=='%s'"%self.lastyear)
.用户.resample('D')
.count().to_frame('%s'%self.lastyear)
.reset_index()
.assign(月 = lambda x:x['时间戳'].dt.month
,产品 = '所有数据'
,日度 = lambda x:(x['时间戳'].dt.date).astype(str)
,日期 = lambda x:x['日度'].apply(lambda x:x.split('%s-'%self.lastyear)[1])
)
)[['月','产品','日期','%s'%self.lastyear]]
all_li_2022 = (self.data.set_index('时间戳').query("年度=='%s'"%self.nowyear)
.产品.resample('D')
.count().to_frame('%s'%self.nowyear)
.reset_index()
.assign(月 = lambda x:x['时间戳'].dt.month
,产品 = '所有数据'
,日度 = lambda x:(x['时间戳'].dt.date).astype(str)
,日期 = lambda x:x['日度'].apply(lambda x:x.split('%s-'%self.nowyear)[1])
)
)[['月','产品','日期','%s'%self.nowyear]]
All_li = pd.merge(all_li_2021,all_li_2022,how='outer')
All_li['%s'%self.lastyear] = All_li['%s'%self.lastyear].fillna(0)
concat_apply_counts = (pd.concat([mer_result_li,All_li])#
.assign(aa = lambda x:np.where(x['日期']<str(self.data['时间戳'].max()+pd.DateOffset(days=1))[5:10]#日期小于最大诊断时间的第二天，切割字符串
,x['%s'%self.nowyear].fillna(0),np.NaN)
)
.drop(labels='%s'%self.nowyear,axis=1).rename(columns={'aa':'%s'%self.nowyear})
)
return concat_apply_counts
def perday_num_organ(self):
df_organ_all_2022 = (self.data.query("年度=='%s'"%self.nowyear).groupby(['日度','用户']).日度.count().to_frame('次数').reset_index()
.groupby(['日度']).用户.count().to_frame(self.nowformat).reset_index()
.assign(日期 = lambda x:pd.to_datetime(x['日度'])
,月 = lambda x:x['日期'].dt.month
,产品 = '所有数据'
)
)[['月','产品','日期',self.nowformat]]
df_organ_all_2022['日期'] = df_organ_all_2022['日期'].astype(str).apply(lambda x:x.split('%s-'%self.nowyear)[1])
df_organ_all_2021 = (self.data.query("年度=='%s'"%self.lastyear).groupby(['日度','用户']).日度.count().to_frame('次数').reset_index()
.groupby(['日度']).用户.count().to_frame(self.lastformat).reset_index()
.assign(日期 = lambda x:pd.to_datetime(x['日度'])
,月 = lambda x:x['日期'].dt.month
,产品 = '所有数据'
#,年度 =
)
)[['月','产品','日期',self.lastformat]]
df_organ_all_2021['日期'] = df_organ_all_2021['日期'].astype(str).apply(lambda x:x.split('%s-'%self.lastyear)[1])
df_organ_cate_2022 = (self.data.query("年度=='%s'"%self.nowyear).groupby(['日度','用户','产品']).日度.count().to_frame('次数').reset_index()
.groupby(['日度','产品']).用户.count().to_frame(self.nowformat).reset_index()
.assign(日期 = lambda x:pd.to_datetime(x['日度'])
,月 = lambda x:x['日期'].dt.month
)
)[['月','产品','日期',self.nowformat]]
df_organ_cate_2022['日期'] = df_organ_cate_2022['日期'].astype(str).apply(lambda x:x.split('%s-'%self.nowyear)[1])
df_organ_cate_2021 = (self.data.query("年度=='%s'"%self.lastyear).groupby(['日度','用户','产品']).日度.count().to_frame('次数').reset_index()
.groupby(['日度','产品']).用户.count().to_frame(self.lastformat).reset_index()
.assign(日期 = lambda x:pd.to_datetime(x['日度'])
,月 = lambda x:x['日期'].dt.month
)
)[['月','产品','日期',self.lastformat]]
df_organ_cate_2021['日期'] = df_organ_cate_2021['日期'].astype(str).apply(lambda x:x.split('%s-'%self.lastyear)[1])
mer_result_cate = pd.merge(df_organ_cate_2021,df_organ_cate_2022,how='outer')
mer_result_cate[self.lastformat] = mer_result_cate[self.lastformat].fillna(0)
mer_result_all = pd.merge(df_organ_all_2021,df_organ_all_2022,how='outer')
mer_result_all[self.lastformat] = mer_result_all[self.lastformat].fillna(0)
concat_apply_members = (pd.concat([mer_result_cate,mer_result_all])#
.assign(aa = lambda x:np.where(x['日期']<str(self.data['时间戳'].max()+pd.DateOffset(days=1))[5:10]
,x[self.nowformat].fillna(0)
,np.NaN)
)#注意选择时间
.drop(labels=self.nowformat,axis=1).rename(columns={'aa':self.nowformat})
)
return concat_apply_members
def merge_result(self):
mer_result = (
pd.merge(self.perday_num(),self.perday_num_organ(),how='outer')
.assign(aa2021 = lambda x:x[self.lastformat].fillna(0)
,aa2022 = lambda x:np.where(
x['日期']<str(self.data['时间戳'].max()+pd.DateOffset(days=1))[5:10]
,x[self.nowformat].fillna(0)
,np.NaN
)
)
.drop(labels=[self.lastformat,self.nowformat],axis=1)
.rename(columns={'aa2021':self.lastformat,'aa2022':self.nowformat})
)
return mer_result#,mer_result.to_clipboard(index=None,excel=True),'已将数据结果进行复制，请移至excel中进行粘贴....'
# stream = Streaming_perday(data=df,lastyear='2021')
# stream.merge_result()
if __name__=="__main__":
stream = Streaming_perday(data=df,lastyear='2021')
print(stream.merge_result())
【Out】: 月 产品 日期 2021 2022 2021点数 2022点数
0 1 A 01-01 21.0 21.0 14.0 8.0
1 1 A 01-02 28.0 17.0 19.0 13.0
2 1 A 01-03 28.0 22.0 18.0 16.0
3 1 A 01-04 46.0 41.0 31.0 24.0
4 1 A 01-05 48.0 46.0 26.0 24.0
... .. ... ... ... ... ... ...
2273 12 所有数据 12-27 44.0 NaN 22.0 NaN
2274 12 所有数据 12-28 43.0 NaN 25.0 NaN
2275 12 所有数据 12-29 36.0 NaN 21.0 NaN
2276 12 所有数据 12-30 47.0 NaN 22.0 NaN
2277 12 所有数据 12-31 58.0 NaN 30.0 NaN
3 搭建动态看板
image.png
注意两点即可：
1.更新数据源
image.png
2.右键切片器选择报表链接，勾选透视表
image.png
3.选项功能添加自定义排序，使得产品切片器按钮以对应数据量的大小来进行排序。
image.png
4.美化图（略...）
5.从上图不难发现，从3月后半段开始，数据迅速下滑，同期下降30%+。然而根据3月的数据报告显示，3月同期下降仅为10%，“10%”的指标有相当大的迷惑性。搭建每日的动态看板，及时向业务部反应情况，就能很好地弥补月汇报滞后性的不足。
