2010RecSys-The YouTube Video Recommendation

作者以及单位

James Davidson(google)

解决问题

借鉴的场景:短视频公司。

用户看短视频(youtube)有三种目的:1.看特定的video;2.看特定topic的video;3.找感兴趣的视频。

解决第三种目的,存在的挑战是:1.短视频除了题目没有什么有价值信息;2.视频短,用户行为就短,噪声多;3.视频生存周期短。

文章主要介绍如何在YouTube主页上给用户提供的个性化推荐内容,其目的是为了提高用户使用网站的互动性以及娱乐性。
文章中所提到的算法会输出用户可能喜欢的视频集合,而不是给出一个具体的用户喜欢某一视频的概率(评价指标可以参考)。

研究对象

如何在YouTube主页上给用户提供的个性化推荐内容,其目的是为了提高用户使用网站的互动性以及娱乐性。
对象是主页!
在主页上推荐视频和推荐一个视频的相关视频在需求上有一定的差异,主页上的推荐对内容的新鲜度,发散性以及用户近期行为的相关性要求比较高。

研究方法

用户行为包括explicit和implicit feedback。前者是指用户评分、明确表示喜欢、不喜欢等行为,后者是浏览、观看等行为。原始数据中还含有非常多的噪声,很多不可控因素会影响原始数据的质量。

为了确定要推荐哪些视频,文章给出了相关视频的定义:视频v的相关视频是指可能在视频v之后被用户观看的视频。两个视频的相关性由关联规则挖掘方法来确定。视频i和j的相关性在文章中作者使用了简单的co-view来计算:


相关度

这里的Cij是视频i和j的co-view数(共同出现次数),f(Vi,Vj)则是根据视频Vi和Vj的观看次数给出的一个折扣(最简单的一个此类函数为f(vi,vj)=ci∗cj)。利用这个相关系数可以选出与种子视频Vi 最相关的N个视频,这里作者还引入了一个minimum score threshold,用来去除N个视频中并不十分确定的相关视频。

所有推荐视频的集合主要是根据用户过去的行为决定,一个用户可能会观看,喜欢多个视频或者给他们进行打分。根据这些视频,我们可以找到所有距离为1的相关视频,然后根据所有距离为1的相关视频找到距离为2的相关视频。

创新点

从系统寻找相关视频来说,新意不大。
但创新点主要是ranking部分:在推荐中,距离为1的相关视频就足够提供很多推荐结果,但是他们可能会十分偏向于用户某一个狭窄的兴趣点,所以我们需要增加距离使推荐结果有更多的新颖性。

当论文中得到所有的推荐视频集合后,可以对他们进行一次排序打分,根据视频质量(观看次数、视频评分、评论、收视和上传时间等);用户特征(用户观看观看次数和观看时间等);多样性:(视频集合的类别中做一个平衡)。
通过对用户的反馈进行分析,我们可以把用户不感兴趣的视频原因从推荐初始集合中删去,或者限制某一个看过的视频生成的推荐视频数量。

结论

涵盖了最基本的推荐引擎样例生成以及额外的排序过程,并且从系统上分析了如何通过Bigtable,MapReduce来搭建这一推荐系统,值得深入学习。

论文解读:

https://zhuanlan.zhihu.com/p/26977788
https://blog.csdn.net/friyal/article/details/83589232

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,723评论 6 498
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,003评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,512评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,825评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,874评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,841评论 1 295
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,812评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,582评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,033评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,309评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,450评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,158评论 5 341
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,789评论 3 325
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,409评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,609评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,440评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,357评论 2 352