A/B Test是数据驱动用户增长的基石，它对于用户增长的重要性，再怎么强调都不为过。今天这篇文章，分享一些我在做A/B Test过程中的一些思考。

为什么A/B Test是科学的方法?

想象一下科学家发现新知的过程，通常是这样的：

• 通过观察现象、分析数据，提出自己对新知的假设；
• 根据假设，设计用来验证新知的实验；
• 确定实验指标，明确证实、证伪新知的标准；
• 如果新知被证实，就推广应用；如果被证伪，就回到第一步，开启新一轮实验循环。

以上的过程，可以总结为“提出假设” -> “设计实验” -> “设计指标” -> “分析结果”，这个循环，是我们人类发现新知的”科学方法“。新药研发领域的双盲实验，就是非常典型的例子。

对应到用A/B Test做用户增长，它也是这样的一个过程：

• 提出假设：分析产品和用户数据，提出优化转化的假设，可以是文案的优化、可以是UI的优化，也可以是交互流程的优化，甚至可以是一些运营策略的优化；
• 设计实验：根据假设，以当前的方案为对照组，假设的优化为实验组，设计实验；
• 设计指标：明确用来衡量实验效果的核心指标，并在产品中做好相关数据埋点；
• 分析结果：实验结果后，通过数据分析实验效果。如果效果是正向，就可以把实验推广应用到全部用户；如果效果是负向，就要进一步分析，理出新的假设。

整个过程我们可以看到，我们做决策的依据，都是客观的数据。基于这样的方法论做用户增长，我们才能产生“可复制”的增长经验。

为什么A/B Test能够驱动增长？

A/B Test驱动增长，背后的核心逻辑是“复利效应”。我们先来看几个算式：

(1+0.01)^365 = 37.78
1^365 = 1
(1-0.01)^365 = 0.03

我们看到：每天进步一点点、原地踏步和每天退步一点点，一年下来的差距是非常巨大的。这就是复利效应的威力，也是爱因斯坦所说的“人类第八大奇迹”。

A/B Test能产生确定性的增长，正是因为复利效应。我们通过大量的A/B Test，总是会发现效果正向的A/B Test。每一个效果正向的A/B Test，都是上述复利效应中的0.01。越多的正向效果的A/B Test，增长的速度就会越快。

复利效应要产生显著的提升，有两个关键点：一是“期数”要足够多，这就要求要测出足够多的正向效果的A/B Test；二是“提升率”要大，这就要求我们做A/B Test也要有取舍，优先做那些能够产生较大提升的。

如何做好A/B Test?

要做好A/B Test，需要注意以下几个事项：

变量控制

控制每个实验组跟对照组之间是“单一变量”，这个是A/B Test的基础。如果做不到单一变量，就无法进行精准归因。A/B Test之所以能够科学、精准归因，核心就是“单一变量”控制。

指标选择

在实际的A/B Test过程中，选择合适的指标来量化效果也是非常关键的。指标选择不恰当，A/B Test的效果会大打折扣，甚至可能会得出错误的结论。

以我们带有免费试用的会员订阅类产品为例，我们在优化用户付费转化的过程中，总结出一些基本的原则：
（1）文案、UI这一类的实验，直接用点击率作为核心指标即可。一方面文案、UI直接影响的就是用户的直观感知，点击率足够反馈出感知层面的差异；另一方面，点击率是一个非常及时的指标，可以很快就拿到实验结果。
（2）交互类的实验，用免费试用率作为核心指标。这里也有两个方面的考虑：一是因为交互会影响用户路径，用户路径会直接影响免费试用这个核心转化动作；二是免费试用率也是一个比较及时的指标，可以比较快拿到实验结果。
（3）价格类的实验，用用户价值作为核心指标。因为价格会直接决定用户会不会付费、付费了之后会不会再次续费等，所以我们就不能简单地使用免费试用率这个指标来衡量这一类实验的效果了。这类实验，要考虑用户的CAC和LTV，最终判断ROI是否划算。这里因为涉及到CAC和LTV的计算，需要拿到用户的实际付费率和付费之后的续费率情况，因此，通常这类实验的周期会比较长。但这个时间是必须要花的。

通过以上，我们可以总结出几条在选择实验指标时的一些通用建议：
（1）优先考虑指标是否能准确衡量实验效果
（2）在保证（1）的前提下，再考虑选择尽量靠近用户动作，能够尽快拿到结果的指标

结果判断

A/B Test跑起来之后，如何根据拿到的数据，判断结果是正向的、还是负向的，也是非常重要的。这里有一个明确的标准，叫“具有统计学显著性”，这是最为科学的做法。通常我们会取95%的置信度下，统计学显著的结果，作为最终的判断依据。

早期我们做法，是根据核心指标是提升了、还是下降来做决策。这是刚开始做A/B Test很容易犯的一个错误。这种做法的最大的问题是，实验样本的大小，对于结果的可靠度影响会很大。有可能在小样本上跑出来的结果，跟大样本下的是不一样的。复利效应中，一个负向的增长率，就很有可能把前面多个正向的增长率给抵消掉。

数据分析

有些时候，我们拿到A/B Test的结果数据，跟我们的直观印象差别会比较大。这时候，我们提倡不要迷信数据，而要敢于质疑数据，这也是作为一个用户增长人员最基本的品质。要数据驱动，要以数据为决策的准绳，但不能迷信数据，对于不符合直观感觉的数据结果，要善于从多个维度，进行交叉验证。最终，我们要拿到真正可信的结果，为增长贡献正向的“0.01”。

如何提升做A/B Test的效率？

A/B Test是数据驱动用户增长的基础方法论，如何能够高效地做A/B Test对于用户增长工作是至关重要的。以下是根据我们过去的工作，总结的一些提升A/B Test效率的思考：

工欲善其事，必先利其器

工具对于效率的重要性，不言而语。我们早期是自己研发了简单的A/B Test平台，在少量实验的情况下还可以用，但实验比较多的时候，就捉襟见肘了。这一块我的建议是，如果公司内部没有专业的做基础平台的团队，可以考虑直接使用市面上比较成熟的平台，这样可以少走不少弯路。

用户数据分析平台，这个也是基础平台，通常如果要购买第三方的A/B Test平台，可以一起综合考虑。没有完备的用户数据分析，对于实验结果进行多维度交叉验证就比较难。而且这个平台不只是对增长团队有用，对于其它产品、研发、市场等人员都有用。基本的原则也是跟上面一样，要谨慎决策是否要自己开发，自己团队没有充足的研发资源的情况下，尽量采用第三方系统。

用技术提升效率

在实际做A/B Test的过程中，我们发现，如果每次做新的A/B Test都发版本的话，会非常影响效率。这时候，我们可以从技术角度思考，如何尽量让一些常规的A/B Test，只需要一些内部的参数配置，不用发布新版本，就可以进行各种测试。基本的思路是，梳理出主要的转化路径上的页面，对页面上的关键元素进行参数化重构。就比如说，在订阅页面的核心的Banner图，卖点文案，价格计划，CTA按钮的文案、样式等，这些都可以做成动态、可参数化配置的。基于这样的实现，我们做增长的同学，就可以灵活地进行各种测试，快速找到这些关键路径上的最优组合方案。把这些低垂之果快速捡完，然后再深入做进一步的增长策略。

OKR驱动全员A/B Test

为了尽最大可能做尽可能多的A/B Test，我们在组织层面也有一些思考。就比如我们的增长团队有增长产品经理、有UI设计师等。我们给团队定的核心OKR就是围绕A/B Test数量展开的，会从数量--上线的A/B Test数，质量--最终取得正向效果的A/B Test数，这两个维度给大家制定。我们的UI设计师，不再是单纯地把产品经理的方案视觉化，他们也会有一部分创造性的工作，思考如何从UI的角度出发，提供一些A/B Test的想法，促进业务增长。这样的OKR设置，让增长团队的每一位同学都有非常明确的目标，而且因为每个A/B Test都会有及时的数据反馈，大家的工作成就感也会比较高。

A/B Test可以在哪些场景中应用？

如果我们要做一个全新的产品，有很多地方可以做A/B Test:
产品名字：可以通过在AppStore发不同名称的包，对比用户搜索结果点击率
产品图标：可以通过在AppStore发不同图标的包，对比用户搜索结果点击率
AppStore截图：AppStore已经支持了多套图进行A/B Test的功能，可以直接做测试
AppStore描述：Google Play支持了对描述进行A/B Test的功能，可以直接做测试
App主打卖点文案、图片都可以用FB Ads进行A/B Test，可以快速拿到一些相对好的结果
...

A/B Test本质上是一种科学的数据驱动决策的方法，它的应用场景，绝对不能局限在用户增长领域。对于做产品而言，“Test Everything, Always Beta”， 才是正确的姿势，也是很多成功的公司，像Amazon、字节等，经过验证的增长“利器”。