################统计日曝光量##################
import pandas as pd
import numpy as nd
import time, datetime
#数据集如下
df1=pd.read_table('D:/testA/ad_static_feature.out',sep = '\t',header=None,engine='python')
df2=pd.read_table('D:/testA/totalExposureLog.out',sep = '\t',header=None,engine='python')
#增加 列名
df1.columns=['广告id','创建时间','广告账户id','商品id','商品类型','广告行业id','素材尺寸']
df2.columns=['广告请求id','广告请求时间','广告位id','用户id','广告id','曝光广告素材尺寸','曝光广告出价bid','曝光广告pctr','曝光广告quality_ecpm','曝光广告totalEcpm']
#拿出需要的特征
df1=df1[['广告id','创建时间','商品id', '商品类型', '广告行业id', '素材尺寸']]
df2=df2[['广告id','广告请求时间','曝光广告出价bid']]
#合并两个表
df3=pd.merge(df1,df2,on='广告id')
#转化日期
df3['year'] =df3['创建时间'].apply(lambda x: time.localtime(x).tm_year)
df3['month'] = df3['创建时间'].apply(lambda x: time.localtime(x).tm_mon)
df3['day'] =df3['创建时间'].apply(lambda x: time.localtime(x).tm_mday)
df3["创建日期"]=df3["year"].map(str)+df3["month"].map(str)+df3["day"].map(str)
df3['year'] =df3['广告请求时间'].apply(lambda x: time.localtime(x).tm_year)
df3['month'] = df3['广告请求时间'].apply(lambda x: time.localtime(x).tm_mon)
df3['day'] =df3['广告请求时间'].apply(lambda x: time.localtime(x).tm_mday)
df3["广告请求日期"]=df3["year"].map(str)+df3["month"].map(str)+df3["day"].map(str)
#去掉时间戳
df3=df3[['广告id','创建日期','广告请求日期','商品id', '商品类型', '广告行业id', '素材尺寸','曝光广告出价bid']]
#找出满足条件的数据（年月相同，曝光日为创建的第二日）
df=df3[df3.创建日期.map(int)+1==df3.广告请求日期.map(int)]
#更新一下index
df=df.reset_index(drop=True)
#统计相同ID和创建时间的数据 + 去重
df['次日曝光量']=df.groupby(['广告id','创建日期'])['广告id'].transform(len)
df=df.drop_duplicates()
#导出待清理脏数据的表
df.to_csv("D:/wating for washing.csv")
数据清洗：
import pandas as pd
import numpy as nd
import time, datetime#数据集如下
df1=pd.read_csv('D:/wating for washing.csv')#去掉出价
df=df1[["广告id","创建日期","素材尺寸","广告行业id","商品类型","商品id","次日曝光量"]]#查看基本信息
df.describe()#仅仅查看行数
df.count()#去重(除出价外 去重)
df=df.drop_duplicates()#删掉空值所在行
df=df.dropna()#仅仅查看行数
df.count()####################################清理带有“,”的脏数据########################
df2=df.astype(str)#令所有内容变成字符串
#查看 广告id 中的异常数据
df2[df2["广告id"].str.contains(",")]#包含逗号的数据（无）
#查看 商品类型 中的异常数据
df2[df2["商品类型"].str.contains(",")]#包含逗号的数据（无）
#查看 素材尺寸 中的异常数据
df2[df2["素材尺寸"].str.contains(",")]#包含逗号的数据
#查看 商品id 中的异常数据
df2[df2["商品id"].str.contains(",")]#包含逗号的数据
#查看 广告行业id 中的异常数据
df2[df2["广告行业id"].str.contains(",")]#包含逗号的数据###########清理广告行业id的脏数据
df3=df2[df2["广告行业id"].str.contains(",")]#包含逗号的数据
L1=list(df3.广告行业id)#包含逗号的数据做成一个列表list1
L2=list(df2.广告行业id)#全部数据做成一个列表list2
L3=list(set(L2)^set(L1))#列表求差集的方法：去掉脏数据的正常数据集合
df=df[df.广告行业id.isin(L3)]#isin()搜寻正常数据集合的最终结果
#直接方法 ~isin()搜寻不包含异常值的最终结果
#df4=df[~df.广告行业id.isin(L1)]#isin()搜寻正常数据集合的最终结果###########清理素材尺寸的脏数据
df3=df2[df2["素材尺寸"].str.contains(",")]#包含逗号的数据
L=list(df3.素材尺寸)#包含逗号的数据做成一个列表list1
#包含逗号的数据做成一个列表list1
df=df[~df.素材尺寸.isin(L)]#~isin()搜寻不包含异常值的最终结果###########清理商品id的脏数据
df3=df2[df2["商品id"].str.contains(",")]#包含逗号的数据
L=list(df3.商品id)#包含逗号的数据做成一个列表list1
#包含逗号的数据做成一个列表list1
df=df[~df.商品id.isin(L)]#~isin()搜寻不包含异常值的最终结果
#重置索引
df=df.reset_index(drop=True)
#导出数据
df.to_csv("D:/train.csv")
If you are interested in this topic.
You can get in touch with me.
18234056952(Tel wechat qq)
