简书展示jupyter notebook的分布输出结果有问题，需要看分步结果的可以到我的CSND博客
https://blog.csdn.net/Itachi_dream
#!/usr/bin/env python
# coding: utf-8
# 明确分析目的：了解2016年交易数据中的商品表现、城市分布、渠道信息、犹豫时间等
# 订单总数、销售总额、总下单客户数
# 销量在前十名和后十名的商品
# 成交额在前十名和后十名的商品
# 销量和销售额最后100个的交集
# 成交额的区间分布；# 细分价格区间的成交额分布
# 不同城市的成交额、销量 取前十名降序排列（成交额、销量）
# 成交额占比最前三名的渠道及其所在城市
# 加载数据分析需要使⽤的库
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# 加载数据，加载之前先⽤⽂本编辑器看下数据的格式，⾸⾏是什么，分隔符是什么等
df = pd.read_csv('./order_info_2016.csv', index_col = 'id')
df.info()
df.head()
# 数值型数据统计
df.describe()
# 加载device_type
device_type = pd.read_csv('./device_type.txt')
device_type
# 数据清洗
# orderId
df.orderId.unique().size# 查看orderId 订单号是否有重复值
df.orderId.unique().size < df.orderId.size # 返回值为TRUE，说明有重复值
# 有重复值⼀般最后处理，因为其他的列可能会影响到删除哪⼀条重复的记录
# userId
# 在df.info()中可见 userId 104557 non-null int64,数量和Index总数相同
# 在df.describe()展示的数据也没有什么异常
# productId
# 在df.info()中可见 productId 104557 non-null int64,数量和Index总数相同
# 在df.describe()看到productId最小值为0
df.productId[df['productId'] == 0].size # 查看productId为0的条目数
# df[df['productId'] == 0].size # 注意不能这样使用，因为df是dataframe,它的size值是行*列的数目
# productId为0的条目数较少，等全部数据处理完后删除
# cityId
# 在df.info()中可见 cityId 104557 non-null int64,数量和Index总数相同
# describe中也没有异常
df.cityId.unique().size #城市数目
# price
# 同上，无异常
df['price'] = df['price']/100 # 转换单位 分-->元
# payMoney
# info ：payMoney 104557 non-null int64 无空值
# 注意到describe中payMoney最小值为负值，删除负值记录
df.drop(df[df['payMoney'] < 0].index, inplace = True)
df[df.payMoney < 0].index # 显示已删除
df['payMoney'] = df['payMoney']/100 # 变成元
# channelId
# channelId根据info的结果，有些null的数据，可能是端的bug等原因，在下单的时候没有传channelId字段
# 由于异常值较少，选择删除
df.drop(df[df['channelId'].isnull()].index, inplace = True)
# df[df['channelId'].isnull()] # 结果可见已删除
# deviceType
# deviceType的取值可以看device_type.txt⽂件，没有问题，不需要处理
# createTime 和 payTime
# 由df.info() 可知二者没有null值
# 分析目的要求分析2016年数据，以createTime为准对年份进行筛选
df['createTime'] = pd.to_datetime(df['createTime']) # 转换成为datetime格式
df['payTime'] = pd.to_datetime(df['payTime'])
# print(df.dtypes) # 显示已转换成功
import datetime
# 创建起止时间
startTime = datetime.datetime(2016, 1, 1)
endTime = datetime.datetime(2016, 12, 12, 23, 59, 59)
# 删除createTime在2016年以外的数据
df.drop(df[df['createTime'] < startTime].index, inplace = True)
df.drop(df[df['createTime'] > endTime].index, inplace = True)
# 删除createTime在payTime之后的异常数据
df.drop(df[df['createTime'] > df['payTime']].index, inplace = True)
# 删除 orderId 中的重复值
df.drop(df[df['orderId'].duplicated()].index, inplace = True)
print(df[df['orderId'].duplicated()]) # 空集则删除成功
# 删除productId为0的数据
df.drop(df[df['productId'] == 0].index, inplace = True)
# 数据清洗完毕，进行分析
# 数据总体情况
print('总订单量',df.orderId.count())
print('总用户量',df.userId.count())
print('总销售额(元)',df.payMoney.sum())
# print('有流水的商品数',df.productId.unique().count()) #AttributeError: 'numpy.ndarray' object has no attribute 'count'
print('有流水的商品数',df.productId.unique().size)
# 分析数据可以从两⽅⾯开始考虑，⼀个是维度，⼀个是指标，维度可以看做x轴，指标可以看成是y轴，同⼀个维度可以分析多个指标，同⼀个维度也可以做降维升维。
# 销量在前十名和后十名的商品
df_pro = df.groupby('productId', as_index = False)
df_pro_sort = df_pro.count()[['productId', 'orderId']]
df_pro_sort.rename(columns = {'orderId':'sale_sum'}, inplace = True)
df_pro_sort = df_pro_sort.sort_values('sale_sum')
print('销量前十名商品','\n',df_pro_sort.head())
print('销量后十名商品','\n',df_pro_sort.tail())
# 销量和销售额最后100个的交集
df_pro_totalprice = df_pro.sum()[['productId', 'payMoney']] # 商品销售额表
df_pro_totalprice.sort_values('payMoney', ascending = False, inplace = True)
df_weak_productID = df_pro_sort.tail(200).index.intersection(df_pro_totalprice.tail(200).index)
df_weak_productID # 没有需要下架的商品ID
# 成交额的区间分布
# df.describe() payMoney从0到22930
#分桶
bins = np.arange(0, 24000, 2000)
bins_data = pd.cut(df['payMoney'], bins)
bin_counts = df['payMoney'].groupby(bins_data).count()
bin_counts.plot(kind='bar') # 可见绝大部分集中在0~2000区间段，应对0~2000区间段细分
plt.show()
# 细分价格区间的成交额分布
df_xf = df[df['payMoney'] < 2000]
bins2 = np.arange(0, 2000, 200)
bins_data2 = pd.cut(df_xf['payMoney'], bins2)
bin_counts2 = df_xf['payMoney'].groupby(bins_data2).count()
bin_counts2.plot(kind='bar')
plt.show()
# 可见集中于0~800区间
# 不同城市的成交额、销量 取前十名降序排列（成交额、销量）
df_city = df.groupby('cityId', as_index = False)
df_city_sum = df_city.sum()[['cityId', 'payMoney']]
df_city_cou = df_city.count()[['cityId', 'orderId']]
df_city_sum_cou = pd.merge(df_city_sum, df_city_cou, on = 'cityId',how = 'inner')
df_city_sum_cou.sort_values(['payMoney', 'orderId'], ascending = False, inplace = True)
df_city_sum_cou.head(10)
# 成交额占比最前三名的渠道及其所在城市
df_city_channel = df.groupby(['cityId', 'channelId'], as_index = False)
df_city_channel_sum = df_city_channel.sum()[['channelId', 'payMoney', 'cityId']]
df_city_channel_sum.sort_values('payMoney', ascending = False, inplace = True)
df_city_channel_sum.head(3)
