PM个性化推荐总结(二)——详细理解协同过滤推荐

个性化推荐本质上是一个主动帮助目标用户找到目标商品的过程,商品在被推荐系统呈现到用户面前之前,往往经历以下几个步骤:

初步召回进入候选池——按用户喜爱程度/消费意愿大小排序——在此基础上按人工规则策略重排序——以某种展示形式推出过程。

大家耳熟能详的协同过滤、矩阵分解、基于内容的CB等推荐法指的都是在物品初步召回进入候选池这个过程中使用的方法。

其中协同过滤是个性化推荐最基本的方法,也是本文要讲解的方法。

其他方法的理解可等待该系列的后续文章

产品经理的推荐总结(三)——详细理解以用户画像为主的基于内容的推荐算法

产品经理的推荐总结(四)——规则与策略在推荐中的应用与作用

早期的协同过滤包含以用户为基础的协同过滤,即user-based的协同过滤(user-cf)和以物品/项目为基础的协同过滤,即item-based的协同过滤(item-cf)。

无论是user-cf还是item-cf都统称为以记忆为基础(Memory based)的协同过滤。

在后来的Netflix竞赛中,涌现了基于矩阵分解的算法,这种算法被广泛应用,其模型被称之为LFM模型,即为隐因子或者隐语义模型。

协同过滤一路发展过来,获得了很多拓展和补充。

一.如何理解以及区分同以记忆为基础的user-cf和item-cf

这种算法的思想是这样的:推荐系统有两个服务对象,一个是用户,一个是物品,用户与物品之间是需要关联的桥梁媒介的,这个桥梁也只有两个选择,一个是用户,一个是物品。user-cf与item-cf的本质区别就在于是选择用户作为用户-物品关系的桥梁,还是物品作为用户-物品关系的桥梁。

以下用“目标用户”“目标物品”“桥梁用户”“桥梁物品”描述算法概念。

uesr-cf选择用户作为用户-物品关系桥梁

选择用户作为桥梁,需要完成两个步骤:

1.建立目标用户与桥梁用户的关系。

2.建立桥梁用户与目标物品的关系。

以上两步完成,便能成功的关联目标用户与目标物品。

目标用户与桥梁用户的关系如何确立:我们认为喜爱同样物品的用户具有共同之处,此处的“喜爱同样的物品”便是目标用户与桥梁用户的“相似”关系。

桥梁用户与目标物品的关系如何确定:我们认为桥梁用户喜爱某目标物品,此处的“喜爱”即代表桥梁用户与目标商品的关系。

示意图如下:


选择物品作为桥梁,也需要完成两个步骤:

1.建立目标用户与桥梁物品的关系。

2.建立桥梁物品与目标物品的关系。

以上两步完成,便能成功关联目标用户与目标物品。

这里目标用户与桥梁物品,桥梁物品与目标物品的关系,跟上面的有相似之处。

目标用户与桥梁物品的关系如何确立:我们认为目标用户喜爱桥梁物品,此处的“喜爱”即代表目标用户与桥梁商品的关系。

桥梁物品与目标物品的关系如何确定:我们认为被同样用户喜爱的物品也会有共同之处,此处“被同样用户喜爱”便是桥梁物品与目标物品的“相似”关系。

示意图如下:


对比两个图可以很清晰的看出,基于记忆的协同过滤的原理都存在非常惊人的相同之处,这种相同之处可以抽象出统一的逻辑,在这种逻辑的具化过程中,两种协同过滤泽呈现出具有对称美感的异同之处。

相同之处一:

都需要建立目标用户与目标商品之间的关系。

异同之处一:

user-cf  中间关系桥梁为“user”。

item-cf  中间关系桥梁为“item” 

相同之处二:

相同类型的目标的关系靠共同喜爱的物品或被共同用户喜爱,不同类型的目标关系靠用户对物品的单项喜爱。

异同之处二:

user-cf  相同类型的资源关系体现在目标用户与桥梁用户之间,靠“共同喜爱的商品”建立。

item-cf  相同类型的资源关系体现在桥梁物品与目标物品之间,靠“被共同的用户喜爱”建立。

不同类型的资源关系,都指的是用户资源与物品资源的关系,靠“用户单向喜欢物品”建立。

相同之处三:

无论是user-cf还是item-cf,使用到的都是用户的行为数据,“喜爱”可以代表“点击”“收藏”“购买”等行为,并不涉及用户或者物品的内容属性数据。

两种基于记忆的协同过滤在使用场景上有各自的优势和劣势,为什么会存在这种优势与劣势,大家可以试试根据原理图分析一下。

二.如何理解基于矩阵分解的lfm模型

如果我们能得到一个用户-物品的评分矩阵,包含所有用户、所有物品,以及用户与物品一对一的单向打分。那就能轻松的完成将目标商品推荐给目标用户的目的。而在实际收集数据的过程中,发现每个用户的行为有限,因此只能得到一张稀疏的用户对物品打分表,如下图所示。


LFM模型的思想是将每个用户喜欢某个物品拆成两个环节:第一个环节是某个用户喜欢某种元素,第二个环节是这个元素被某个物品拥有。这里的“元素”不需要人为标注与构建,称之为“潜在因子”。

通过这个理论,采用矩阵分解的方法将用户-物品矩阵拆分“用户-潜在因子”矩阵”和“潜在因子-物品”矩阵,求解得到潜在因子和用户、物品的关系,将剩余的“空白打分栏”补充完整,就是lfm模型要解决的问题。

以上就是推荐方法中最常用的协同过滤法。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,922评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,591评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,546评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,467评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,553评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,580评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,588评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,334评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,780评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,092评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,270评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,925评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,573评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,194评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,437评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,154评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352