今日头条的核心技术细节是什么?

估计现在今日头条的用户量应该达到 5 亿了。从 2012 年到 2016 年这几年间,平均

算下来,今日头条平均一年新增 1 亿多用户,平均每月新增 1000 多万用户。每个月

的成长,几乎相当于别人努力一年甚至几年的结果。

有人说,今日头条的用户量大多是靠预装带起来的。然而,预装对于各家门户的新闻1

客户端来说,是一个带来用户量的常用手段。如果大家都用了同样的手段,但最终留

下来的是今日头条,这说明了什么?

市场是检验一款产品到底成功与否的唯一标准。今日头条推荐的新闻,更符合用户群

体的口味。

然而,在拥有数亿用户的情况下,今日头条若依然坚持人工推荐的话,人力成本巨大

不说,效率也不会高。通过技术手段,自动化整个服务链条,从来是应对业务规模化

的路径。假如你以前不相信今日头条自己有做个性化内容推荐算法,那么现在,你必

须相信今日头条它已经这么做了。因为没有一份报纸,可以每天出版数亿份不同内容

的读物。

那么,今日头条如何做到内容精准化的推荐,它对今日头条的商业模式带来怎么样的

影响?通过机器的方式对信息的分拣,以及推送,真的可以触动到读者的心吗?

今日头条核心算法负责人杨震原,之前就在在 MindStore 分享时提到,一开始今日头

条的推荐算法,首先入手的是“非个性化推荐”——解决的热门文章推荐,以及新文

章冷启动的问题。

杨震原在“MindTalk 线场”说,“单纯的热门(文章),会让一些新文章没有机会。

单纯的随机(推荐),(文章)质量当然不好,所以考虑一些简单方法,比如算一下

威尔逊置信区间,来平衡热与新的问题。”

之后,今日头条开始逐步引入个性化推荐的策略。他们所采用的,是协同过滤

(Collaborative Filtering)** + 基于内容推荐,直到今天依然构成今日头条推荐

算法的基础。

关于协同过滤,参考 IBM developerWorks 中文社区的专业解释,“协同过滤一般是

在海量的用户中发掘出一小部分和你品位比较类似的,在协同过滤中,这些用户成为

邻居,然后根据他们喜欢的其他东西组织成一个排序的目录作为推荐给你。”

杨震原在 MindStore 分享,

(协同过滤)是一个很好的方法,直到今天我们还一直使用。但缺点也很明显,对

于没有行为(记录)的文章,没办法推荐,所以没办法用于文章的冷启动。所以我

们引入了基于内容推荐的策略。比如计算文章的分类、文章的关键词,然后根据用

户对文章的阅读、浏览等信息,细化用户的个人资料。——这样子,如果文章是和

科技相关的,而用户的个人资料也显示科技相关,那么就算匹配。”

在之后的工作,是把特征、模型做得更加细化。比如,文章实体词的抽取。我们最

近对文章的分析,已经做得很细,可以精确地提取实体词。我们近期引入了‘词嵌

入’(word embedding)方法,做向量化的分析,还引入 LDA 的方法,进行

topic 分析等等。

除此之外,今日头条还通过用户对内容的“正负反馈”来判断内容匹配是否精准。正

反馈,包括用户点击了、看了很长时间、分享了、收藏了、评论了,都是正反馈。负

反馈反而是比较难获取的,现在今日头条在内容上设置了一个小叉,点击之后,会咨

询用户不感兴趣的理由,这种做法则会获取比较强的负反馈。但是通过这种方式收集

到的数据还不多。

那么,我们知道现在的个性化推荐算法还未尽善尽美。在“MindTalk 线场”上,有用

户提问,“今日头条如何平衡传统意义上的头条新闻和用户感兴趣的头条新闻?”对

此,杨震原的回答是,“我们目前是增加非常少的运营干预一天只有零星几条,来增

强传统头条新闻的推荐,避免机器推荐对这类内容推荐的不足。”但是,拿捏新闻推

荐的平衡点,是整个业界都在钻研的问题。

通过杨震原的解释,我们基本知道了今日头条推荐算法的原理:通过算法,一边提取

内容的特征,一边提取用户兴趣的特征,然后让内容与用户的兴趣匹配。

不过,除了对文本进行分析外,今日头条如何对用户进行分析呢?

杨震原说,“新用户能够得到的信息(历史行为)非常有限。我们尽量通过一下其它

途径想办法获取信息,比如说,如果通过微博登录,那么就可以拿到很多信息,解决

冷启动的难题。再比如,手机机型、手机在什么城市等信息,基本也可以知道。当用

户积累了一定的行为数据之后,就可以算出他们的兴趣特征。总之,尽量通过有限的

信息,来猜测用户的兴趣。”

今日头条通过机器匹配用户阅读兴趣,与内容本身的特征之后,这对他们的商业有怎

样的影响?

广告界有一句名言,“企业所投放的广告费总有一半是浪费掉的,但是却没有办法知

道被浪费掉的是哪一部分。”今日头条目前的商业模式也是以广告为主,因此在产品

上所产生的巨大流量,可否与广告内容精确匹配,进而进行更加精准的转化。

根据今日头条所提供的案例,此前海尔旗下卡萨帝选择在今日头条的动态开屏和信息

流中投放广告,最后开屏广告的转化率达 11.93%。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,186评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,858评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,620评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,888评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,009评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,149评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,204评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,956评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,385评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,698评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,863评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,544评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,185评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,899评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,141评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,684评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,750评论 2 351

推荐阅读更多精彩内容