今日头条的个性化推荐算法

互联网给用户带来了大量的信息,满足了用户在信息时代对信息的需求,但也使得用户在面

对大量信息时无法从中获得对自己真正有用的那部分信息,对信息的使用效率反而降低了,

而通常解决这个问题最常规的办法是推荐系统。

推荐系统能有效帮助用户快速发现感兴趣和高质量的信息,提升用户体验,增加用户使用产1

品时间,并有效减少用户浏览到重复或者厌恶的信息带来的不利影响,通常推荐系统越精

准,用户体验就越好,用户停留时间也会越长,也越容易留住用户。

今日头条在北京国家会议中心举办了“算数·年度数据发布会”,数据发布会的主题名

为“算数”,实际上指的是“算法”与“数据”,我也参加了这场发布会,有些收获不敢私

藏与大家分享!

众所周知,今日头条是个个性化的新闻推荐引擎,在今日头条CEO张一鸣看来,算法是《今

日头条》这款兴趣推荐搜索引擎应用的核心,这也是与传统媒体最本质的区别,今日头条之

所以能够非常懂用户,精准推荐出用户所喜好的新闻,完全得益于算法,而正是精准推荐,

使得今日头条在短短两年多的时间内拥有了2.2亿用户,每天有超过2000万用户在今日头条

上阅读自己感兴趣的文章。

那么今日头条是怎么做到为每一个用户按兴趣精准推荐新闻的呢?在发布会上,今日头条的

技术副总裁杨震原给我们揭秘了今日头条的个性化推荐核心“算法”。

如下图,有3篇文章,让3个用户投票[注:这3个用户是一类人,有相同属性(喜好和偏

好)],那第4个用户应该被系统推荐的文章是那篇呢?第4个用户与前3个用户都是一类人,

答案显而易见是第一篇文章。

没错,今日头条的个性化推荐算法原理就是基于投票的方法,其核心理念就是投票,每个用

户一票,喜欢哪一篇文章就把票投给这篇文章,经过统计,最后得到结果很可能是在这个人

群下最好的文章,并把这篇文章推荐给同人群用户过程就是个性化推荐,实际上个性化推荐

并不是机器给用户推荐,而是用户之间在互相推荐,看起来似乎很简单,但实际上这需要基

于海量的用户行为数据挖掘与分析。

搞技术的朋友都知道,内容推荐必须基于受众人群,只有在确定受众人群之后才能确定推荐

内容,有的放矢才叫精准推荐。

上面那个例子只是很小的人群,但是现实生活中不会有这样小的人群,而且太小的人群通过

推荐投票的方式也很难推荐出很精细的内容,只能推荐出一些热门内容,那今日头条是如何

来划分人群?

我们假定上图这个人群有8万人,只有两类:一类叫喜欢科技的人群;一类喜欢娱乐的人

群,我们先分成两类,每类有4万人,我们又找到另一个维度地域:上海和北京,喜欢科技

的人有上海和北京的,喜欢娱乐的也有北京和上海的,我们把8万人群分成四组,每组两

万,我们再找年龄,30岁以上和以下,我们分成8个人群,每个人群1万人,第1个是喜好科

技,位置在北京,年龄30岁以上,这有1万人,我们再以下面的喜欢娱乐,地点上海,人群1

万。

根据人群不同维度,我们可以细分到一个合理的力度。特别需要注意的是:在细分的领域里

面投票数既不要太多,但也不要太少,因为太多没有个性化,仅是一个大众关心的话题而

已,而投票数太少又没有统计意义,支持度就低了。

人群特征可以是阅读姓名,年龄,地域,职业等等,同理,文章也是类似的,文章有提到哪

些名人,文章发布的时间,文章所属的地区等等,也都有很多特性,这些都是可以去组合起

来。

判断一个用户属于怎样的人群相对简单,比如地域,用户的手机在什么区域,就可以认为用

户是什么地域的;比如说用户兴趣,可以根据用户的阅读习惯去判断,用户会经常去看科技

的文章,那就可以判断用户属于科技的人群;再比如说用户的好友关系,用户在今日头条上

面注册了,用户的好友都是娱乐圈的人,则该用户很有可能也是娱乐圈的人。

所以通过用户在今日头条上行为,以及用户客观的地理位置信息,就能判断用户到底属于一

个什么样的人群。

精准推荐最难的不是划分人群,也不是判断用户人群归属,更不是文章属性判断,一个人可

以属于多个人群,也有多个文章候选,选那个推荐才是最难的,而今日头条的推荐内容是怎

么算出来的呢?

通过上图的计算公式:W1*候选1的投票率+W2*候选2的投票率+W3候选3的投票率+……=最高

分,最后能计算出一个得分,按得分的高低来排序,就可以得到推荐文章的一个侯选,这个

过程实际上是一个比较简单的算法,而这在今日头条内部叫逻辑回归。

总的来说,个性化推荐技术本身并不神秘,归根到底推荐算法关键是还在于对海量用户行为

的数据分析与挖掘,也许各家算法略有不同,但最终目的都是殊途同归,为实现最精准的内

容推荐而努力中(对于排序的算法,大家可查看一下马海祥博客《九大排序算法的实现方法

及算法分析》的相关介绍)。

推荐算法大致可以分为三类:基于内容的推荐算法、协同过滤推荐算法和基于知识的推荐算

法。

基于内容的推荐算法的原理是用户喜欢和自己关注过的Item在内容上类似的Item,比如你看

了哈利波特I,基于内容的推荐算法发现哈利波特II-VI,与你以前观看的在内容上面(共有

很多关键词)有很大关联性,就把后者推荐给你,这种方法可以避免Item的冷启动问题(冷

启动:如果一个Item从没有被关注过,其他推荐算法则很少会去推荐,但是基于内容的推荐

算法可以分析Item之间的关系,实现推荐)。

弊端在于推荐的Item可能会重复,典型的就是新闻推荐,如果你看了一则关于MH370的新

闻,很可能推荐的新闻和你浏览过的,内容一致;另外一个弊端则是对于一些多媒体的推荐

(比如音乐、电影、图片等)由于很难提内容特征,则很难进行推荐,一种解决方式则是人

工给这些Item打标签。

协同过滤算法的原理是用户喜欢那些具有相似兴趣的用户喜欢过的商品,比如你的朋友喜欢

电影哈利波特I,那么就会推荐给你,这是最简单的基于用户的协同过滤算法(user-

basedcollaboratIve filtering),还有一种是基于Item的协同过滤算法(item-

basedcollaborativefiltering),这两种方法都是将用户的所有数据读入到内存中进行运

算的,因此成为Memory-basedCollaborative Filtering,另一种则是Model-based

collaborativefiltering,包括Aspect Model,pLSA,LDA,聚类,SVD,

MatrixFactorization等,这种方法训练过程比较长,但是训练完成后,推荐过程比较快。

最后一种方法是基于知识的推荐算法,也有人将这种方法归为基于内容的推荐,这种方法比

较典型的是构建领域本体,或者是建立一定的规则,进行推荐。

混合推荐算法,则会融合以上方法,以加权或者串联、并联等方式尽心融合。

当然,推荐系统还包括很多方法,其实机器学习或者数据挖掘里面的方法,很多都可以应用

在推荐系统中,比如说LR、GBDT、RF(这三种方法在一些电商推荐里面经常用到),社交网

络里面的图结构等,都可以说是推荐方法。

个性化推荐的主要思想八个字概括之:物以类聚、人以群分。主要的方法及变种应该有很

多,像协同过滤、基于内容的推荐、基于标签的推荐等等,以后推荐系统一个趋势就是基于

社交的,利用用户反馈进行实时推荐,多种推荐算法进行混合,从而达到一个较好的推荐结

果。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,133评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,682评论 3 390
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,784评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,508评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,603评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,607评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,604评论 3 415
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,359评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,805评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,121评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,280评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,959评论 5 339
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,588评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,206评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,442评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,193评论 2 367
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,144评论 2 352

推荐阅读更多精彩内容