如何避开破坏A/B测试的4大误区

给要做的A/B测试定个小目标,比如先跳过这4个坑。

推荐理由:为什么别人能做有效的A/B测试,而你不能?本文揭开破坏A/B测试的4大误区

关键词:A/B测试 转化率优化

正文

你听到每个人都大赞A/B测试,它是如何帮助一款产品降低跳出率,增加转化及转化价值,并带来更多的销售。

但是,你做的A/B测试却并没有达到人们说的那么神奇的效果。

事实上,不是每个独立访客都会注意到新的购买按钮,你的注册表单仍然会产生零转化。而且,从产品页跳转过来的用户看起来好像没什么变化。

困境在于,即使转化上来了,你也知道这是因为时间的累积而不是测试!

尽管你认为A/B测有效,并且有足够的证据来证明它的价值。但问题在于,在设置测试时你就Z在不经意间破坏了你的A/B测试。在这篇文章中,我会告诉你杀A/B测试于无形中的四大误区。

1.运行“快速”测试,难以发现真实问题

你知道,我敢肯定大多数转化率专家听到“快速”这个词都会感到畏惧,但是我猜这也是从客户那里听到的最多的一个词。

关键是:A/B测试不是快速解决问题的灵丹妙药。

如果你想找出那些对转化率有积极影响的页面元素,首先需要研究和理解你的受众,他们对你的商业模式会做何反应,识别造成低转化的潜在问题,最终,提出如何解决它的想法。然后,启动A/B测试来验证它们。这是增加你获胜砝码的唯一真实解决方案。

从另一方面讲,“快速”分割测试着眼于方案而非问题。测试不同的按钮颜色绝不是一个有意义的测试。相反,运行基于数据的测试来分析“添加到购物车”按钮的性能才是有意义的。

2.要相信人为的合理决定限制了你的测试选项

事实上:作为市场人员,我们经常对客户的喜好、信仰以及行为驱动因素做出假设。基于数据,我们试图去猜测什么原因会说服一个人做出购买决定,注册一个邮件列表,或引起其它任何转化。

然而,问题在于,我们缺乏合理依据。

例如,我们根据情绪而非逻辑做决定。南加州大学神经科学教授 Antonio Damasio 对大脑产生情感的区域受损的人群做了一个实验,发现他们不仅无法感觉到任何情绪,而且他们也无法做出决定。

他的课题可以解释这些人群在逻辑上的行为,但实验证明做决定对他们来说是很困难的一件事。

我们经常回避做决定。

例如,我们经常会选择默认选项,因为这意味着根本不用做决定。

Dan Ariely 在他精彩的 TED 演讲中解释了这种行为:Are we in control of our own decision ? ( TED , December 2009)(观看可能需要翻墙)

人们总是很容易接受建议

第一位研究人类行为的心理学家 Walter Dill Scott 写道:“人类被称为理性动物,但毋庸置疑,人类也是建议性生物。人是理性的,但很大程度上都会受别人建议的影响。”

想一想:什么时候你会被朋友或认为有权威性的人那里得到的建议所左右?什么时候你买东西是因为你很信赖的人也买了它?或者去一个度假胜地只是因为你的朋友去过那里?

我们来看看希拉里竞选做的A/B测试中含有的暗示性信息:

1.注意这页里的信息“Thank you”(背景左上角部位弹出),在捐助者捐助前展示,推动募捐。


2.“She's with……”信息(在背景中同样的地点,左上角弹出)

拥有的信息越多,我们所做的决策越差

奥斯丁大学的研究证明,我们对可用选项的信息越多,越会做出比较差的选择,尤其是从长期结果来看。好吧,但是这根A/B测试有什么关系呢?关系很大。

你可以看到:假设你的客户基于逻辑和理性做决定,那么你为潜在假设所做的试验就越少。

总关注于决策背后的逻辑论证,意味着你很少测试“不常见的”场景。然而,“不常见的”场景可能会比你在注册按钮上做的其它测试带来更加意想不到的结果。

3.忽略科学流程导致测试质量不佳

看:如果一遍又一遍的测试都没能提供任何有意义的结果,那很可能是因为你没有正确的设计试验。或许你只是简单的复制别人的测试。或许,你应该从头开始设计你的测试的最佳实践。

科学的方式是旨在帮助制定,测试和修改可行假设的一套程序。


该流程从观察阶段开始,识别问题并制定可测试的假设。再与研究发现的结果进行分析,得出的结论反过来又成为新的研究和假设的基础。在另一篇文章(公众号里发送关键字“另一篇文章”,查看链接)里我解释了怎么通过科学的方式来设计A/B测试的细节。

但我必须澄清:使用科学方法并不意味着你必须从头拿出你的假设的潜在解决方案。并且,科学的方法应该是运行每一个测试的基础。

4.在错的时间做的A/B测试掩盖了正确的结果

你知道:买家行为变化取决于一年所在的时间。例如,季节会影响到购买行为的每一个变量,想一想黑色星期五时用户的疯狂表现吧。


你的公司也可能在一年的特定时间有不一样的运行状态。在你所在的区域你可能会季节性备货,或者做比平时力度更大的促销和优惠,你可能会发更多的邮件,产出更多的内容等。

不用说,这些行为都将反映在你的A/B测试结果里。因此,你可能不能确定是你的假设起了作用还是购物者的季节性行为引起你所期待的改善。

不是你跟A/B测试没有缘,是相恋在了错的时间。因此,作为一项准则,你应该在自然的商业循环周期里运行重要测试,以得到最客观的数据,比如避免在旺季做测试。

结论

众所周知,A / B测试是提高转换率,降低跳出率,提高销量的好方法。但是它很容易因为你不当的试验设置而遭到破坏。为了避免这样,在设计测试时,你应该注重科学的方法,关注目标群体的情绪心态,最后,避免在不合适的时间做测试。

本文由吆喝科技编译,如需转载,请联系吆喝科技(微信 ID:appadhoc)

阅读原文:How Not to Split Test. 4 Mistakes that Sabotage Your A/B Testing

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 204,053评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,527评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,779评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,685评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,699评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,609评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,989评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,654评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,890评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,634评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,716评论 1 330
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,394评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,976评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,950评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,191评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,849评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,458评论 2 342

推荐阅读更多精彩内容