什么是AB测试？
为同一个目标，设计两种方案，将两种方案随机投放市场中，让组成成分相同（相似）用户去随机体验两种方案之一，根据观测结果，判断哪个方案效果更好，结果可以通过CTR或者下单率来衡量。
判断效果，需要知道的数据？
两个样本数量 NA,NB，转化率/下单率，PA,PB
怎么衡量AB测试的效果？（一种方案比另一种方案更有效）
由于AB测试是让用户在两个选择中随机选择一项，相当于二项分布，根据统计学原理，可知若样本足够大，那么标准的二项分布的累计分布趋近于正态分布，即抽样的分布趋于正态分布，可采用z检验。
即PA~N(PA,PA*(1-PA)/NA)
PB~N(PB,PB*(1-PB)/NB)
PA-PA~N(PA-PB,PA*(1-PA)/NA+PB*(1-PB)/NB）
AB-test的假设检验：
H0:A、B无差异
H1:A、B有显著差异
根据样本观察值，构造统计量：
若Z>Z0.025 ，那么拒绝原假设，认为两种方案有显著差异。
样本的可信性
两类错误：
第一类错误α错误：“弃真”，原假设为真，却落在拒绝域内。
第二类错误β错误：“取伪”，原假设为假，却接受原假设。
统计功效power：
在上文中我们使用的是样本的估计值代表整体，但是可能存在偏差，即可能存在两类错误，如何去估计样本是否能代表真实，统计学中使用统计功效来衡量。
统计功效：在假设检验中，拒绝原假设后接受备择假设的概率，计算的是（1-β）的概率。统计功效的值期望越大越好。
做ABtest时需要考虑的问题？
1.样本是否具有代表性，首先在样本的选取中就需要先行进行控制；
2.估计值是否是实际值的真实反映？即估计的准确性。
3.如果样本有偏差，考虑区间估计
4.怎么分配流量来做多组测试？---根据统计功效计算
方差分析
方差分析（analysis of variance，ANOVA），即变量分析，是对多个样本平均数差异显著性检验的方法。方差分析又称为F检验。
分差分析的总体思想就是数据中的总变异，按变异原因划分。
变异的基本来源有两个：
*实验变量：样本的观测因素引起的变异，也称为组间差异
*随机误差：由于测量误差导致的每个个体间的差异，也称为组内差异
总偏差平方和=组间偏差平方和+组内偏差平方和 SST=SSR+SSE
