第十二章 电商大数据分析技术
电商数据分析
一、数据来源、分析目的和思路
1. 数据来源
为了做商品、用户购物行为分析，从阿里云天池搜索获取数据集：
（https://tianchi.aliyun.com/datalab/dataSet.html?spm=5176.100073.0.0.30a36fc1OydpSl&dataId=649）
该数据集包含了2017年11月25日至2017年12月3日之间，有行为的约一百万随机用户的所有行为（点击、购买、加购、喜欢），数据集信息如下：
表1 变量信息
编号 变量 说明 数量
1 userid 用户id 987,994
2 itemid 商品id 4,162,024
3 categoryid 商品类目id 9,439
4 type 行为类型：pv（商品详情页pv，等价于点击）、buy（商品购买）、cart（将商品加入购物车）、fav（收藏商品） 100,150,807
5 timestamp 时间戳 -
2. 分析目的
网站、商品、用户的购物行为分析。
二、 分析正文
1. 数据清洗
因数据量太大，随机选取了3000个用户的行为日志进行分析。共有304920条行为数据，假定该数据为网站总数据。没有缺失值。为考察异常值，绘制变量5的箱线图如下。
图1 timestamp异常值分析
由图可知timestamp中有异常值，查询发现，数据集中含有129条时间小于11月25日的记录，和50条时间大于12月3日的记录，不符合要求，因此删除此179条记录，得到304741条行为记录，包含3000个用户，163438个商品，4349个商品类目。
2.网站分析
2.1 PV
网站每天的PV（与行为类型中的pv区别）统计如下；日均PV为33860。
图2 网站日PV
由图可知，PV在11月25日到12月1日较为平稳，12月2日大幅增加，达到本周最大值，12月3日小幅回落，推测因12月2、3日为双休日，所以PV增加。但此段时间不涉及节日，11月25、26日也为双休日，其PV理应与12月2、3日类似，可作为异常点分析，定位原因。 根据PV可调整广告等资源投放的时间、数量，节约成本，使营销更高效。
2.2 DAU
网站DAU如下图：
图3 网站DAU
由此份数据计算得到日活，变化趋势与日PV一致。异常点也是11月25日和11月26日，可以进一步分析原因。先定位出现异常的用户群体，再从内部、外部用排除法寻找原因。外部影响因素有PEST、竞争对手，内部因素有网站调整、商品的价值和用户需求、营销方案。
2.3 访客
定义：在当天之前没有行为的用户为新用户，否则为老用户。将每天的新老用户数统计如下：
图4 用户数
针对此份数据，从11月26日开始，新增用户数缓慢减少，12月1日为0；老用户数缓慢增加，12月2日突增。新老用户数总体平稳。
2.4 留存率
将留存率整理如下。
表2 网站留存率（%）
日期 次日留存率 3日留存率 5日留存率 7日留存率
11-25 78.68 77.80 78.12 98.98
11-26 67.59 68.02 69.51 97.87
11-27 66.18 64.73 96.14 -
11-28 65.22 69.57 94.57 -
11-29 71.11 97.78 - -
11-30 91.18 97.06 - -
12-01 - - - -
12-02 - - - -
12-03 - - - -
因12月1日-12月3日的新增用户数为0，所以无法计算留存率；12月2日和12月3日的活跃用户多，对应这两日的留存率也较高。留存率一般趋势为逐渐减小到平稳，总体来说因为数据较少，时间较短，未能得到常见留存曲线，但可锻炼计算方法。此外根据留存和新增可以预测日活。
2.5 转化率
在304741条行为记录中，统计行为类型数据，假定cart、buy、fav都基于pv，计算各转化率见下图。
图5 网站行为类型转化率
结合经验，根据各个转化率能判断2017年11月25日至2017年12月3日这段时间，产品质量、网站的销售等情况。
3.商品分析
categoryid为2885642的商品类和itemid为1927740的商品在此段时间被购买次数（buy）最多，为热销商品。店铺根据商品销售情况，可进行引流和促销。
categoryid为4756105的商品类目和itemid为812879的商品被访问（总行为数）最多，但被购买次数较少。部分浏览量高，却卖不出去的商品，可收集详细信息，专题分析其原因。
4.用户分析
用户分析包含行为事件、转化、留存、分布、点击、用户行为路径、分群、属性、粘性分析等方面。根据数据进行用户分群分析。
根据userid，将每位用户cart、fav、buy和pv的4种行为计数，因样本量较大，采用K-means方法聚类，经分析数据符合聚类要求，对比聚类数目3和4的结果，根据变量对分类的贡献和实际类别特征，选择聚类数3。聚类结果如下：
表3 最终聚类结果
聚类中心 第1类 第2类 第3类
cart 3 12 8
fav 1 8 4
buy 2 3 2
pv 44 286 133
各类别用户数 1850 262 888
聚类结果将3000个用户分为了3类，方差分析结果表明4个变量（pv、buy、fav、cart）都对分类贡献显著。根据类别，统计计数3000个用户的各个行为（pv、buy、fav、cart）总数，绘制条形图如下（其中“pv”数据按比例缩小，乘系数0.2）。
图6 不同聚类类别type行为计数条形图
被分为的3类中，第1类人数最多，该类的用户特点为商品浏览次数较少，将商品加入购物车率（cart）和购买率（buy）相对最大；第2类人数最少，该类用户特点为将商品加入购物车率、收藏率和购买率相对最少，是最不活跃的一类用户；第3类用户人数和特点介于第1、2类之间，商品浏览次数相对最多，比其它两类用户更喜欢收藏商品。针对分类，可进行精准营销。
浏览商品是用户购买的前提，用户购买是商家最终目的，因此，选取各用户pv和buy计数数据，绘制散点图，采用矩阵关联分析法。其中浏览（pv）行为均值为91.1813，购买（buy）行为均值为2.0017。
图7 pv-buy矩阵图
根据矩阵图，将用户分类，对不同类的用户采取不同措施，达到精准营销的目的。由图可知，第I象限为浏览量大，购买量大的用户，此类用户购物较谨慎，喜欢多对比物品。第II象限为浏览量少，购买量大的用户，购物快准狠，主动性强，对该类用户无需投入过多资源维护。第III象限的用户浏览量少，购买量少，该类用户可能不喜欢网购，也可能是购物目的性强，对该类用户可采取投放广告、优惠券的措施。第IV象限用户浏览量大，购买量少，对该类用户可投放满减活动。确定营销方案后，随机抽取不同类的用户进行营销方案测试，再通过假设检验评判实施效果。
三、总结
以上分析了2017年11月25日至2017年12月3日此段时间，网站（PV、DAU、访客、留存、转化）总体运营，商品以及用户的一些指标。根据K-means方法，用户被聚为3类；根据浏览量-购买量（pv-buy）矩阵分析，将用户分为4部分；以上两种方法从不同角度对用户进行了分类，目的是精准营销。因本例未包含商品、用户详细数据，如用户性别、年龄，用户购物数量、金额等，未能进一步分析；且网站分析部分计算得到了一些绝对数据，有一定局限性。本文旨在锻炼思维、练习工具的使用和代码撰写的能力，希望以后结合业务经验，能做出更深入的分析。
