【猿团专访】|吆喝科技:用A/B测试降低迭代风险 让数据推动产品优化

他是清华大学的高材生,毕业后进入耶鲁大学继续深造;他曾在Google总部负责搜索广告产品的创新和研发,发表过多篇和计算机相关的科学论文,也拥有多项国际专利,担任过IEEE移动计算、GLOBECOM互联网协议与车辆技术评论家专家,也曾是2009对等网络国际研讨会、超现代化的通讯和控制系统2010、2011国际会议TPC。殊荣加身,他却毅然放弃美国的丰厚待遇回国创业,他就是北京吆喝科技创始人及CEO——王晔,也是我们猿团专访本期嘉宾。

以下为猿团记者专访内容,原创作品,如需转载请注明出处。

CCTV证券资讯频道《超越》栏目,王晔与主持人路一鸣合影

“推广一个能不断改善用户体验的技术,改善这个世界一点点。”这是王晔作为一个工程师的情怀。因为热爱,这位80后理工男一直致力于技术研发,也致力于为客户提供更好的体验。2014年10月,王晔创建了北京吆喝科技有限公司,其开发的AB测试云服务,用数据帮助企业优化产品与广告,是国内唯一同时支持前端(Web/H5、iOS、Android)及后端(Node.js、PHP、Java等)AB测试服务的专业SaaS平台。

成立后不久,吆喝科技即获得国际顶级投资机构的投资,目前已拥有注册企业用户444家,月覆盖设备228,065,584个阶段数据,历史累计实验3034次,取得了辉煌战绩。

为什么会取名叫“吆喝”呢?在王晔看来,“吆喝”是一种文化,也非常需要技术含量。就像街头叫卖一样,吆喝能帮助企业传达信息,把企业产品卖得更好。同时,吆喝科技的取名也有个小插曲:创立初期,其主产品AppAdhoc A/B Testing中的“Adhoc”已被国外的企业注册,为了国内的名字更接地气,Adhoc翻译成汉语,谐音“吆喝”。

谈到吆喝科技的创立,王晔颇有感慨。当前在国内,A/B Testing算一个非常新颖的概念。采访中,王晔谈到,“当选择在新兴的领域创业,简直是自讨苦吃。”创业初期,自然是没少吃苦头,但好在靠着王晔对技术的执着和团队的支持,吆喝科技走到了现在。据悉,目前吆喝科技的团队有40多人,成员大多来自世界500强等企业,包括几十位工程师、运营、市场及客服人员,其中两位合伙创始人张毅飞和王冉分别对互联网精细运营以及移动营销有着多年经验,共同推动移动互联网进入全数据驱动产品优化的局面。

A/B测试 降低产品迭代风险,提升用户转化

AppAdhoc A/B Testing 是吆喝科技独立开发的一套以 A/B 测试为基础的数据优化平台。“顶级的 PM 也只能跑赢一半的 A/B 测试”,王晔希望通过引入 Google 全数据驱动产品优化的理念,用数据帮助研发团队做产品决策,避免无数据决策的产品风险,提升产品潜力。

那么,什么是A/B测试?王晔用简单通俗的话语解释了这个全新的概念:A/B测试是指在所有条件都相等的条件下,只改变一个条件,从A改成B,然后对比两者产生的效果的不同。

为什么要做A/B测试?举个例子,一家电商App最近成交量低下,为改善这种局面,团队想做一些调整,但怎么才能看出调整后的页面更好还是原来的页面更能促进销售量?这时候就可以接入吆喝科技的SDK,之后便能在AppAdhoc A/B Testing控制台创建很多“试验版本”,每个试验版本可以尝试不同的UI设计和文案。客户可以在控制台管理不同试验版本的试验运行状态、流量分配以及查看详细的数据报告,并选择发布效果更好的试验版本。

假如这个电商App有100万在线用户,通过控制台可以控制这些用户看到不同的试验版本。假设其中50万用户看到左边版本,产生了10万购买;另外50万用户看到右边版本,产生了40万购买。这个试验数据说明右边版本产生的转化率更高,可以通过控制台将这个版本推广到所有100万用户。由此可见,A/B 测试更能提高工作的有效性,帮助企业提升用户转化,降低产品迭代风险。

前端+后端全面测试 用数据做产品决策

AppAdhoc A/B Testing能为用户提供产品前段及后端的全面测试。前端方面,通过改变用户可用肉眼感知的内容进行试验,比如改变产品UI、页面布局和文案内容,小到图片配文和按钮文字,大到文章标题甚至布局的改变,都可以测试不同方案的数据效果。其次是产品后端的测试,即对用户视觉感知之外的内容进行测试。这部分主要集中在对产品新功能,以及推荐算法的测试。很多用户可能面临着这样的难题,想给产品增加一个新功能,可是很难确定是否能达到用户的预期,如果盲目上线,极有可能会造成一些损失。使用A/B 测试,能做到对用户真正负责,提高用户粘性。以音乐电台产品为例,增加某些新的设置,用更加精准的推荐算法可以让用户感到惊喜,并自发为你传播。

A/B 测试使用时的注意事项

为保证试验流量分割的科学性和试验结果的准确性,吆喝科技使用学习算法将APP用户按照日常行为进行分组,保证X%的试验流量(B)具有代表性,与(100-X)%的主流量(A)有可比性。AppAdhoc A/B Testing支持多个试验并行运行,也支持多个试验重叠运行,可同时看到多个版本的对比效果。对于试验结果,吆喝科技采用Hadoop实现统计学的算法来处理数据,分析对比试验流量与主流量的结果数据,保证对比结果的置信区间。

值得注意的是,王晔指出,A/B测试应该从小的改动做起,而不是大的改动。首先,当发生大改动时,可能用户群体已经发生变化;其次,改动过得反而不利于判断结果,比如一个界面改动了5处,提高了10%的销售点,那这10%的提升究竟是来自于5个改动中的哪一个呢?由此可见,大的改动并不利于A/B测试。

此外,企业如果想要获得一个可信度较高的A/B 测试结果,试验时间要运行充足,并且保证用户有一定量级。公司的日活最好能够保证大于1000,否则进行可信A/B 测试是比较困难的。对于用户量较大的产品(月活上千万),AppAdhoc A/B Testing同样可以提供试验支持。但为保证试验的顺利进行,最好还是在正式上线前与吆喝科技的工作人员联系沟通。

采访时我们不难发现,王晔对A/B测试具有非常深刻的理解,他表示,目前吆喝科技的重点是对AppAdhoc A/B Testing优化引擎的不断改进,包括建设更加强健的后端集群,实现支持日活数十亿用户,同时针对不同用户群体,增强用户体验功能,通过机器学习给客户提供自动优化的建议。此外,针对非深度开发者的移动营销人员,吆喝科技推出了一个所见即所得的HTML5营销页面优化平台,可以方便营销人员不做代码改动就实现各种各样的A/B测试,不断优化移动营销的效果。

未来,吆喝科技将与更多企业一起,用A/B测试驱动产品优化,降低产品迭代风险,提升转化、留存和你想要的一切。

如果你也有一个创业梦,欢迎关注【猿团专访】,了解每个CEO背后的故事,或者创投信息;如果您创业成功,想与我们一起分享创业故事,预约CEO专访,欢迎发送CEO简介或公司简介至邮箱:liuqiying@yuantuan.com。

(文章来源:猿团 作者:瘦司)

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,463评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,868评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,213评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,666评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,759评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,725评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,716评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,484评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,928评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,233评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,393评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,073评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,718评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,308评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,538评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,338评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,260评论 2 352

推荐阅读更多精彩内容