【A/B测试】支付宝营销策略效果分析
A/B测试常用于比较不同设计、运营方案的优劣，以辅助决策。本分析以支付宝营销活动为例，通过广告点击率指标比较两组营销策略的广告投放效果。
1.数据来源
本文所用数据集来自阿里云天池
该数据集包含三张表，分别记录了支付宝两组营销策略的活动情况：
·emb_tb_2.csv: 用户特征数据集
·effect_tb.csv: 广告点击情况数据集
·seed_cand_tb.csv: 用户类型数据集
本分析报告主要使用广告点击情况数据，涉及字段如下：
·dmp_id：营销策略编号（源数据文档未作说明，这里根据数据情况设定为1：对照组，2：营销策略一，3：营销策略二）
·user_id：支付宝用户ID
·label：用户当天是否点击活动广告（0：未点击，1：点击）
2.数据处理
2.1 数据导入和清洗
import numpy as np
import pandas as pd
#载入数据
data=pd.read_csv(r'F:\data\ABtest\effect_tb.csv',header=None)
data.columns=["dt","user_id","label","dmp_id"]
#不需要第一列日志天数属性数据，删除该列
data=data.drop(columns='dt')
data.head(5)
image.png
data.shape
(2645958, 3)
#查看是否有重复值
data.nunique()
image.png
可以看到数据行数和用户数不一致，需要检查是否存在重复行
data[data.duplicated(keep=False)].sort_values(by=['user_id'])
有相当多的重复行 需要进行去重
data=data.drop_duplicates()
#检查是否还存在重复项
data[data.duplicated(keep=False)]
image.png
检查是否具有空值
data.info(null_counts=True)
image.png
可以看到没有空值，无需进行处理
data.describe()
image.png
未发现有奇异值，也无需进行处理
##查看数据类型
data.dtypes
image.png
2.2样本容量检验
在进行A/Btest之前需要检查样本容量是否满足最小样本容量要求
可以借助网上的样本量计算工具：https://www.evanmiller.org/ab-testing/sample-size.html
首先需要设定点击率基准线以及假设的提升比例，在这里将对照组的点击率设为基准线
# click rate of control group
data[data["dmp_id"] == 1]["label"].mean()
image.png
对照组的点击率四舍五入取1.26%，假设新的营销策略可以使点击率提升一个百分点。由计算可得至少需要2167个样本。
image.png
data['dmp_id'].value_counts()
image.png
可以看到两种营销策略的样本量分别为41万加和31万加，远大于所需样本量的最小值.
# 保存清洗好的数据备用
# save it to file
data.to_csv("F:\data\ABtest\output.csv", index = False)
# reload data
# data = pd.read_csv("F:\data\ABtest\output.csv)
3.假设检验
先观察几组实验的点击率情况
print("对照组：",data[data['dmp_id']==1]['label'].mean())
print("营销策略一：",data[data['dmp_id']==2]['label'].mean())
print("营销策略二：",data[data['dmp_id']==3]['label'].mean())
image.png
可以看到策略一和策略二相较对照组在点击率上都有不同程度提升。
其中策略一提升0.2个百分点，策略二提升1.3个百分点，只有策略二满足了前面我们对点击率提升最小值的要求。
接下来需要进行假设检验，看策略二点击率的提升是否显著。
a.零假设和备择假设
假设对照组点击率为p1，策略二的点击率为p2，则
零假设 H0：p1>=p2; 备择假设 H1：p1< p2
b.分布类型、检验类型和显著性水平
样本服从二项分布，样本相互独立，样本量n>>30，总体均值和方差未知，所以采用z检验。显著性水平取0.01
3.1 方法一：公式计算
# 用户数
n_old = len(data[data.dmp_id == 1]) # 对照组
n_new = len(data[data.dmp_id == 3]) # 策略二
# 点击数
c_old = len(data[data.dmp_id ==1][data.label == 1])
c_new = len(data[data.dmp_id ==3][data.label == 1])
# 计算点击率
r_old = c_old / n_old
r_new = c_new / n_new
# 总和点击率
r = (c_old + c_new) / (n_old + n_new)
print("总和点击率：", r)
image.png
# 计算检验统计量z
z = (r_old - r_new) / np.sqrt(r * (1 - r)*(1/n_old + 1/n_new))
print("检验统计量z：", z)
image.png
# 查α=0.05对应的z分位数
from scipy.stats import norm
z_alpha = norm.ppf(0.05)
z_alpha
image.png
z_alpha = -1.64， 检验统计量z = -59.44，该检验为左侧单尾检验，拒绝域为{z＜z_alpha}。
所以我们可以得出结论：原假设不成立，策略二点击率的提升在统计上是显著的。
3.2 方法二：python函数计算
直接用python statsmodels包计算z值和p值
import statsmodels.stats.proportion as sp
z_score, p = sp.proportions_ztest([c_old, c_new],[n_old, n_new], alternative = "smaller")
print("检验统计量z：",z_score,"，p值：", p)
image.png
检验统计量z： -59.44168632985996 ，p值： 0.0
p值约等于0，p ＜ α，与方法一结论相同，拒绝原假设。
作为补充，我们再检验下策略一的点击率提升是否显著。
# 策略一检验
z_score, p = sp.proportions_ztest([c_old, len(data[data.dmp_id ==2][data.label == 1])],[n_old, len(data[data.dmp_id == 2])], alternative = "smaller")
print("检验统计量z：",z_score,"，p值：", p)
image.png
