2019-04-01

以后看东西能不能全部大概浏览一遍,这样,就可以大概知道要以那一块为重要方面去看了。

推荐引擎是个性化推荐中重要的组成部分, 也是推荐系统负责对外提供服务的重要组成部分。基于用户的画像,物品画像等,根据不同的推荐策略从物品推荐池中召回相关的物品。

个性化推荐系统,是主动发现用户当前或潜在阅读需求,并主动推送合适资讯给用户的信息网络,个性化推荐引擎挖掘用户的喜好和需求,主动向用户推荐其感兴趣或者需要的对象。

个性化推荐引擎基于用户画像、物品模型,通过一系列的策略,对用户进行内容的个性化推荐的系统,其按功能分为5个模块:

召回

融合

填充

过滤

重排

推荐引擎自上而下的模块包括:

召回: 基于相似用户、相似物品、画像属性、上下文等进行召回;

融合: 决定召回策略比例并截取物品数形成初步结果集,融合器有加权融合、概率融合、规则融合等等;

填充: 通过一些热门填充、规则填充,在工程上保证物品的数量,通过试投保证保证推荐的新颖度;

过滤: 通过用户历史、行为让推荐可以保证不出重复及无状态服务的手段、同时还有负反馈计算;

重排: 通过模型、规则排序,提高点击率的同时保证用户体验。

召回

根据不同的策略从物品可推荐池中获取相关的视频,生成相关的推荐候选池, 现有的召回策略如下:

基于用户画像的偏好属性(类目)

基于物品的协同过滤模型

基于用户的协同过滤

基于上下文的召回(需要建立模型)

LM隐含因子: 基于视频tag,离线计算阶段建立相关的模型

融合

交叉融合法:blending 召回结果进行穿插 ,输入用户长期兴趣,短期兴趣

特征融合法:基于特征工程

Nearline系统: 准实时更新对应策略的权重

填充

对融合的结果进行填充, 填充的策略包括:

热门填充:

点赞topN:点赞次数的排序列表, 时间衰减

精品用户发布的视频排序列表

72小时热门音乐下的商品

72小时热门话题下的商品

各个类目下的top20 商品

运营热点视频

基于规则的填充:

用户关注的人发布的视频

新品分级投放

运营强推

基于完播率

fb好友,但是vskit未关注的人发布的视频

过滤

过滤规则:

用户已经看过的视频

用户负反馈的视频, 包括dislike, 举报等

重排

对每一刷的结果进行重新排序,业界通用基于ctr预估。 对于vskit短视频业务,目前基于播完率预估

通用模型:

规则重排


针对不同的策略设置权重,对召回结果进行融合。 建立融合模型,根据用户实时的行为反馈动态的调整融合权重。参考多模型融合推荐算法在达观数据如何运用

线性加权融合法: 是给用户(user)推荐商品(item)的得分, 是算法K的权重,是算法k得到的用户(user)对商品item的推荐得分。


本引擎支持多种场景并存,主要场景分为依照用户兴趣推荐、依照接入方客户配置的内容为主配合用户兴趣推荐、根据当前物品的相关物品推荐。多场景并存可以给用户提供区别于传统推荐系统的更高级的产品体验。

本推荐系统构建在网易云计算服务组件之上:

网易云计算对象存储基础服务:对本文、图片、视频、音频等内容的存取与CDN服务;

网易云计算通信与视频云视频处理服务:对视频类型内容提供转码支持;

网易Mammut大数据开发计算平台:对实时或离线数据提供大数据分析服务,及推荐数据建模.

底层技术涉及GPU深度学习计算,web服务器,hadoop集群、Redis集群、数据传输服务Datastream、关系型数据库等.

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,277评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,689评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,624评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,356评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,402评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,292评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,135评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,992评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,429评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,636评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,785评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,492评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,092评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,723评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,858评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,891评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,713评论 2 354

推荐阅读更多精彩内容

  • 推荐系统是为用户推荐所需商品的软件工具和技术。也即是向用户建议有用物品的软件工具和技术。这种建议适用于多种决策过程...
    T_129e阅读 337评论 0 0
  • 随着技术的积淀,AI正在走出象牙塔和实验室,步入商业世界,成为撬动社会发展和经济增长的新杠杆。人工智能的发展为世界...
    Feather轻飞阅读 353评论 0 0
  • 作者 | HCY崇远 01 前言 本文源自于前阵子连续更新的推荐系统系列,前段时间给朋友整理一个关于推荐系统相关的...
    daos阅读 5,655评论 0 77
  • 听说一个好玩的事儿,一个同事说他朋友想在海外市场推广,找app榜单的前50聊合作,东南亚、巴西的、日本的等等,写英...
    Levin711阅读 639评论 1 0
  • 你迷茫,怪你没见识 家里世世代代都是农民,好在父母还是有觉悟的...
    沐之凝阅读 196评论 0 0