即使经常进行A/B测试的公司也常见此种情况：一年里一个接一个地运行测试，在测试后将胜出者推出。但一年后再看，转化率竟然与最初版本差不多！这种打脸的情况总是发生。
为什么？要么是测试结束得太早，要么是样本量太小，或者兼而有之。我曾在一篇博文里详细作了解释，在宣布测试完成之前，你需要满足3个指标：
1、有足够的样本量：实验有足够的人参与，以便有足够的数据来获得科学的结论。需要使用A/B测试样本量计算器预先计算所需样本量。
2、测试需要运行多个销售周期，2到4周左右。如果你只做了几天就停止测试（即使达到了所需的样本量），也只是取了便利样本，而不是有代表性的样本。
3、显著性达到95%（P≤ 0.05）或以上。注意：记住P值并不能告诉我们方案B比方案A好，这一点非常重要。
