保留样本产品实验

谈到数据增长,增长团队(Growth Team)为实现短期增长量,对产品进行的过度优化是一个潜在危险。增长团队(Growth Team)工作节奏极快,在Pinterest也不例外,我们总是要在给定的时间内进行大量实验,发现行之有效的方法马上推出,然后进行下一步尝试。但有时候,产品需要我们退一步验证某些新调整或者功能的长期有效性,排除短暂的虚假繁荣,确定它们能够让数据可持续的增长。这篇文章,我会介绍Pinterest的增长团队(Growth Team)是怎样优化产品的。

去年,我们将所有的推送通知,包含在了Pinterest图标的数字角标提醒中。对许多用户来说,当一个App的图标上有了数字角标,那种点开它将角标消除的冲动是难以抑制的。

Pinterest

与Pinterest其他产品升级一样,发布新的数字角标提醒的时候,我们使用了A/B测试方法,最初得到的结果不可思议,图标上小小的数字带来了7%的日活跃用户增长,以及其他关键交互项指标(如Pin close-ups、repins、Pin click-throughs 译者注:以上为Pinterest产品中的功能项)的重要提升,在这些漂亮数据的激励下,我们很快将这项调整应用于整个产品。但是,关于角标提醒的效果能否长久的问题让我们感到不安:这些小数字会长期有效吗?用户会不会最终疲于点击,进而对角标产生免疫力?

为了回答这个问题,我们创建了一个1%保留样本群(holdout group)。保留样本实验是A/B测试的一种,我们在99%的Pinterest用户中推出新功能,保留1%不做改变,以便于估量调整的长期影响。对于任何长期效果存疑的特定功能,我们都会专门保留这样一个1%保留样本群。

保留样本实验(holdout experiment)持续了超过一年的时间。几个月之后,最初7%的日活跃用户增长量稳定在了2.5%。去年秋天,我们发布了新功能——Pinterest News,是用户在Pinterest上关注的其他用户的最近动态摘要。我们同样将Pinterest News的提醒增加在数字角标中。结果,Pinterest News又将之前稳定在2.5%的日活跃用户提升到了4%。‌


数据

此外,我们还发现数字角标对提升用户活跃度卓有成效。Pinterest的用户分为核心用户(core)、普通用户(casual)、边缘用户(marginal)等几个类别,我们发现,角标提醒对边缘用户向核心用户或普通用户转化的数据有着显著影响,在数字角标可以长期维持用户被证实之后,这一发现让我们再次兴奋不已。

用户数量变化

作为一个有效手段,保留样本实验(holdout groups)保证我们的努力是为了数据的长期增长。它还被应用于广告、用户教育等功能。总的来说,保留样本(holdout groups)应该在任何长期影响存在疑问的产品升级中使用。在数字角标这个例子中,我们通过它了解Pinterest用户长期使用角标的反应,这将帮助我们在通知战略中更进一步。

原文链接:Long-term Impact of Badging
作者:John Egan 资深Growth Hacker,现供职于Pinterest

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 172,996评论 25 708
  • 有时候不辛苦但压力很大,有时候很辛苦但压力不大
    IamChandler阅读 161评论 0 0
  • 我并没有说单身的人都有趣,只是认为有趣的人大多数都单身。 情人节漫天情歌,满眼鲜花,多的溢出来的情话,总有...
    陈哇噻aa阅读 770评论 3 10
  • 一。。。 为你种下十里桃花,却换不回你一世牵挂; 为你写下三生情话,却换不回你一缕嫁纱; 为你卸下残骑裂甲,却等不...
    示爱誓爱是爱失爱逝爱阅读 739评论 0 0
  • 多年以前,我听到了一个家长讲述女儿的故事,一个用时间和金钱换来生命的惊心动魄的故事,一个让这位父亲在两天内头发变花...
    雪儿静阅读 295评论 2 2