如何通过注意力跟踪来提高 A/B 测试的有效性

本文授权转载自:吆喝科技

这是小编个人觉得比较有意思的一篇文章,无论是创业公司还是10角兽,都应该是数据驱动运营的,也的的确确确需要数据来衡量当前阶段的产出,发现可改进的点。“可衡量才可促进”,但有时候我们却太过于关注数据,而忽略了用户心理。

就算在产品正式上线前,在 A/B 测试上做足了功夫,测试了很多个版本,最终选择了转化率最高的一个版本。但你能保证你做的是有效的A/B 测试吗?或许用户只是没得选,不得已才在所谓的“较高转化”的版本上花时间呢。

直入正题,这篇文章可能在你处理下面两种情况的时候对你有用:

l你可能正在制作或刚刚上线你的网站,但访问量太少使得A/B测试(分离测试)还不适用。同时你迫切想要通过测试来进行验证,让数据来支持那些很酷的想法和你的设计决策。

l尽管你的网站已经有了足够多的流量,并且也做了A/B测试,但转化率依然不达标。做A/B测试的时候你想有更大胆的假设,但没有时间来做定性研究(你用了图表和热力图)。

我们优化网站的时候,转化率不是要关注的唯一关键绩效指标(KPI)。或许还需要更深入的了解用户心理,衡量整个AIDA(Attention , Interest ,Desire,Act)周期。这时候如果只是做了A/B测试,那么你的关注点可能就局限在用户的行为部分,这部分由转化率来衡量。对Amazon.com这样体量的网站来说,你可以测试按钮颜色的改变,即便是为了转化率上0.01%的提高,这也是有意义的,因为这个微小的改变每天都会被数百万用户看到。

否则,你需要测试更大的变化来得到有意义的结果,但之后你可能也说不清楚为什么就产生了这样的结果。究竟是什么起了作用,是很引人注目的颜色,能“忽悠人”的文案,还是很有诱惑力的价值主张?你怎么知道哪些元素需要改进,哪些元素可以保留,因为它们的效果不错。用下面两个指标用来衡量:

关注率(Attention Rate):只关注特定元素的用户人数。

参与率)(Engagement Rate):关注特定元素的用户人数和他们关注特定元素的时间。

确切地说,这两个注意力经济指标就是用来了解用户对产品认知的。关于这两个指标的获取,如果你钱多,就能用注意力跟踪研究,但还是得花不少时间。预算紧张,可以尝试预测注意力跟踪,经济实惠的一种方案,但是吧,仅仅是尝试啊,因为它的准确性真不敢恭维。看看下面这张图,这真的是有效的注意力预测?(难道不是应该关注胸,好吧,机器不好色)

倒是有一种叫“Attenses”的工具,既靠谱又经济,它提供更可信的见解(以交互研究的形式捕获真正的人类行为。嗯,一种黑科技),自由职业者和小机构也能负担得起。看看我们为了优化关注度和提高转化用Attenses做的实例研究,你应该问自己下面几个问题:

我对转换的元素有足够多的关注吗?

人们不阅读网站,人们只是浏览网站寻找有价值的信息。你的网站传递有价值信息的速度越快,用户就越有可能会留下来阅读更多的你想要让他们看到的东西(订阅/注册/购买)。你的页面必须能够立即回答下面3个基本的问题:

1.你提供什么?

2.什么能使你所提供的更有趣?

3.访客下一步应该会做什么?

看一看上面的例子。你希望这三个区域有较高的参与率,所以很多用户会注意你在这些区域的内容,并花时间阅读它。我相信视觉网站优化在这里做了一个相当不错的工作。你可以从一个被调查者的观点看这项研究。

我的网站上有没有任何不必要的抢夺注意力的元素?

整理你的元素布局,使得它没有任何营销信息,让用户把注意力放到真正有说服力的信息上。请看这个例子,Mint.com的简约设计。这里的每一个元素都有它的目的,并且告诉我们关于这个产品的一些很优秀的特质。

人们是否明白我第一眼提供的?

一旦你得到用户的注意,你必须确保你正在做的大部分工作是让用户真实了解你的产品是什么。这就是为什么你应该结合定量和定性数据。

这是Mint.com的图表。尽管这是一个精心设计的注意分布,你可以看到,只有一半的人回答正确,而几乎四分之一的受访者不知道在所有这些家伙是卖什么。这说明改善他们价值主张的空间很大(网站内容很太拖沓)。

像上面说的,很多情况下,还没到马上就要做A/B测试的地步,先把想传递给用户的想清楚,是否在有限的页面布局上提供给用户有价值的信息(对用户有用,用户感兴趣),是否足够简单(没有无效信息),是否足够直白(用户很容易明白你的产品是什么)。做好了上面的,接下来去开展有效的A/B测试吧。

数据驱动也要先走心。

本文编译自:How To Boost Your A/B Testing Effectiveness With Attention Tracking

原文链接:http://t.cn/RcyJbiP

AppAdhoc 在线A/B测试云服务平台:用数据优化产品

国内唯一同时支持前端( Web / H5、iOS、Android )及后端(Node.js、PHP、Java、Python等)A/B 测试云服务的专业 SaaS 平台。产品、市场以及运营人员可以通过数据验证最佳方案并发布,提高效率的同时降低决策风险。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 205,236评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 87,867评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 151,715评论 0 340
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,899评论 1 278
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,895评论 5 368
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,733评论 1 283
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 38,085评论 3 399
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,722评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 43,025评论 1 300
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,696评论 2 323
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,816评论 1 333
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,447评论 4 322
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 39,057评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,009评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,254评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 45,204评论 2 352
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,561评论 2 343

推荐阅读更多精彩内容