非常老的一篇文章,拿来练手。发现去年已经出了新的深度神经的文章,这篇翻译就暂时搁置了……
油管视频推荐系统
作者:James Davidson Google Inc davidson@google.com | Benjamin Liebald Google Inc liebald@google.com | Junning Liu Google Inc ljn@google.com | Palash Nandy Google Inc
palash@google.com | Taylor Van Vleet Google Inc tvv@google.com
纲要
本文讨论的是这个世界上最受欢迎的线上视频社区---油管,所使用的视频推荐系统。这个系统以用户在网站上的行为为基础,给他们推送个性化的视频集。本文讨论了一些系统面临的独特挑战以及我们的解决方法。此外,我们提供了用来测试和调整新算法的实验和评估框架的细节。
1.简介
个性化推荐是今天信息富环境下,信息检索和内容发现的一个重要手段。结合纯检索(查询)和浏览(直接或间接),个性化推荐可以让用户们在面对海量信息的时候,可以高效满意地找到他们想要的信息。作为世界上最大的且最受欢迎的在线视频社区,且拥有大量用户自产内容。油管在内容发现和推荐方面面临着一些独特的机遇与挑战。
成立于2005年2月的油管快速地成长为世界最受欢迎的视频网站。用户们到油管上发现、观看和分享原创视频。油管为人们提供了可以解除全球视频内容的平台,并且为内容创造者们扮演了内容分发的角色。每日有百万的视频被数百万用户观看,单日播放量超过十亿。每分钟都有用户上传超过24小时时长的视频到油管。
这篇文章中,我们会展示推荐系统,这个系统基于登陆用户曾经的线上行为,推送个性化的视频集(有限的推荐同样适用于非登陆用户,我们在这篇文章里主要探讨登陆用户)。推荐系统应用在两个主要部分:油管首页(www.youtube.com)和浏览页(www.youtube.com/vedios)。关于主页如何展示推荐视频的例子可见图1
[图片上传中。。。(1)]
图1:油管首页的推荐截图
1.1 目标
用户因为具体或不具体的原因访问油管,比如:为了看一个他们在别处找到的视频(直接导航),为了找到围绕一个主题的特定视频(搜索和目标导向性浏览),或者只是为了娱乐而看他们觉得有趣的视频。个人视频推荐是解决最后一个用例的方法,这个用例我们称之为“未述需求”。
例如,这个系统的目标就是停个性化推荐,从而帮助用户找到跟他们的兴趣先关的高质量视频。为了维护用户娱乐与沉浸体验,推荐不可避免地要定期更新,并且这些推荐要反应出用户在网站的行为。这些推荐还意在反映出网站上广泛的题材内容。
我们的推荐系统目前的形式是top-N推荐系统而不是预测系统[4]。在本篇论文的3.0章节,我们会探讨如何衡量推荐系统的成功。 油管推荐系统的一个额外主要目标是维护用户隐私,并且对后台系统中的用户数据进行明确的控制。我们在本文的2.5章节会讨论如何达成这个目标。
1.2 挑战
油管网站的许多方面,给用户推荐有趣和个性化相关视频带来了独特的挑战:用户自己上传的视频通常没有或者非常差的元数据。视频语料库的大小基本与活跃用户的数量量级相同。此外,油管上的视频大部分是短视频(10min 以下的长度)。因此,用户的交互行为相对短暂且混杂。与之相比的是,在电影租赁或购买的网站上,如Netflix或亚马逊租借电影或购买东西,用户的交互行为则非常明确地体现了用户的意图。另外,油管上有趣的视频,从上传到病毒式传播的生命周期非常短,这就要求推荐系统的内容要保持新鲜度。