推荐系统基础

为了解决互联网时代下的信息超载问题,提出分类目录(雅虎)和搜索引擎(谷歌)但随着数据量的增大,分类目录网站只能涵盖少数热门网站,已无法满足用户需求。因此,搜索引擎诞生了。搜索引擎,用户通过输入关键字,查找自己需要的信息索引擎,用户通过输入关键字,查找自己需要的信息                                                                                   

推荐系统,和搜索引擎一样,是一种帮助用户快速发展有用信息的工具。通过分析用户的历史行为,给用户的兴趣建模,从而主动给用户推荐能够满足他们兴趣和需求的信息。

如何评价一个推荐系统的好坏呢?具体方法过程如下:


 1,实验方法:                                                                                                                                                                一个推荐系统要最终上线,需要以下步骤

1,通过离线实验证明它在很多离线指标上优于现有的算法;                                                                       

2,通过用户调查确定用户满意度不低于现有的算法;                                                                                    

 3,通过在线AB测试确定它在我们关心的指标上优于现有的算法;

评价指标:     

用户满意度:

用户满意度无法通过离线计算,一般通过                                                                                                     

 调查问卷                                                                                                                                                        

在线系统中,用户满意度通过统计用户行为得到。比如用户如果购买了推荐的商品,就表示他们在一定程度上满意,可以用购买率度量用户满意度。                                                                                                         

一般情况,我们可以用用户点击率、停留时间、转化率等指标度量用户的满意度

2,预测评分的准确度:

由于离线的推荐算法有不同的研究方向,准确度指标也不同,根据研究方向,可分为:预测评分准确度和TopN推荐。

平均绝对误差(MAE)

均方根误差(RMSE)

TopN推荐

召回率

准确率

覆盖率

3,覆盖率:

就是说推荐系统推荐出的物品占全部物品的比例对于覆盖率可以通过以下信息商和基尼系数来定义:

信息熵:

基尼系数:

4,健壮性

任何能带来利益的算法系统都会被攻击,最典型的案例就是搜索引擎的作弊与反作弊斗争。健壮性(robust,鲁棒性)衡量了推荐系统抗击作弊的能力。

评测算法的健壮性,主要利用模拟攻击:

给定一个数据集和算法,用算法给数据集中的用户生成推荐列表;                                                              

用常用的攻击方法向数据集中注入噪声数据;                                                                                              

利用算法在有噪声的数据集上再次生成推荐列表;                                                                                           

通过比较攻击前后推荐列表的相似度评测算法的健壮性。

提高系统健壮性的方法:

选择健壮性高的算法;                                                                                                                                      

选择代价较高的用户行为,如购买行为比浏览行为代价高;                                                                          

在使用数据前,进行攻击检测,从而对数据进行清理。

常用推荐系统分类:

1.基于流行度的算法                                                                                                                                                         

2.协同过滤算法                                                                                                                                                                

3.基于内容的算法


4.基于模型的算法                                                                                                                                                            

5.混合算法


一些其他方法


一些干货总结:https://www.jianshu.com/p/3ad6e87f3eec  作者整理的超级好,很用心

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,496评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,407评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,632评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,180评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,198评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,165评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,052评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,910评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,324评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,542评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,711评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,424评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,017评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,668评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,823评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,722评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,611评论 2 353

推荐阅读更多精彩内容

  • 这篇文章的技术难度会低一些,主要是对推荐系统所涉及到的各部分内容进行介绍,以及给出一些推荐系统的常用算法,比起技术...
    我偏笑_NSNirvana阅读 12,081评论 5 89
  • 1、什么是推荐系统 在这个时代,无论是信息消费者还是信息生产者都遇到了很大的挑战:作为信息消费者,如何从大量信息中...
    文哥的学习日记阅读 14,541评论 6 67
  • -- 原创,未经授权,禁止转载 2017.11.15 -- 对于推荐系统,本文总结内容,如下图所示: 文章很长,你...
    rui_liu阅读 42,936评论 14 256
  • 推荐系统基础 个性化推荐概述 1.1 推荐系统概述 首先,需要申明一点的就是推荐系统!=推荐算法。推荐系统是一套完...
    刘晖阅读 684评论 0 4
  • 今天去看了期待了很久的环太平洋2 imax版虽然的看的很high 但是不得不说没有上一版好 具体明天再说 这个月好...
    FGFW阅读 174评论 0 0