以下是有幸参加字节跳动公司春季招聘【Tech Talk】讲座的学习收获。
A/B实验
产品方案的决定,绝不是产品经理的经验之谈,也不是技术的可行性决定,没有谁领导谁,数据驱动是关键。(这里主要是存在大量数据的情况下)
上一个新的功能点,到底会不会带来想要的效果,或者到底能不能证明这个功能就是上的很正确——用数据说话!
but 数据表现出来的波动有多大的准确率?有多少其他因素的干扰?没有对比怎么证明怎么确定就是对的呢?这时候A/B实验就是一种比较好的方式。
A/B实验:在A方案下有多少conversion,在B方案下有多少conversion?如果存在多个方案呢?举个栗子好说话。。。
在抖音选择视频展示布局和播放形式的时候就用到了A/B测试,最后我们看到现在的抖音就是用的第三种方式,不再是矩阵形式的列举,更为新颖。或者这个背后是不是还有其他心理因素和视觉感受的结合?
自己的小想法:
①矩阵排列的视频形式,我们在刷视频时,是不是会选一个自己感觉不错的,可能就是那张封面的图片在某种程度上决定了点击率,而且只要和第三张图片一对比,我们就能明显感觉到矩阵排列的有些视觉上的不舒适;
②短视频里我们会看到很多普通人的作品,不是明星不是流量大牌,每个人都是可以点赞上万的。有个词叫做去中心化,还是挺合适这种社交的,我们都希望自己被喜欢和关注,整个手机屏幕只有你的唯一作品,总觉得挺不错的;
如何分流
分层流量解决了并行进行大量A/B测试的需求与有限流量之间的矛盾。在分层实验时,每一层都拥有100%的用户流量,处在同一层的实验共享这一层100%的流量
参考来源:AB测试使用文档简介讲解AB测试实验的实现,技术性强。
回到例子上抖音有庞大的数据量,数据支撑最后方案的决定。当然产品经理也需要有数据思维,数据是有力的支撑,但是什么功能什么时候该做,还是要心里有数。
数据出来以后,还是需要有一个评价的标准的。
如何决策
该方案我们的目的是什么?我们关注的点是什么?数据显示某一指标变好是代表有用吗?
value:数据表示有用而实际没用的概率
当value稳定在某一值一段时间后再做决策。(这里面有相应的判断公式)
AB测试有三要素
用户量——要到达一定的量,有数据积累
业务
工具
产品经理需要学习和了解的东西很多的,慢慢积累,多总结,就像这样偶然的一次讲座学习,也能了解到很多有趣有料的东西。