推荐质量评价指标

Precision & Recall & F1-Measure

内容过于基础，在此不作详细描述。如有兴趣，请参考以下链接:

RMSE

均方误差(Root Mean Square Error, RMSE), 其计算公式如下:
$RMSE = \sqrt{\frac{1}{m}\sum_{i=1}^m{(y_i - \hat{y_i})^2}}$

MAP

平均正确率均值(Mean Average Precision, MAP)
其中 $AP$ 的计算方法如下：
$\operatorname{AveP} = \frac{\sum_{k=1}^n (P(k) \times \operatorname{rel}(k))}{\mbox{# of relevant documents}} \!$
其中， $k$ 为检索结果队列中的排序位置， $P(k)$ 为前 $k$ 个结果的准确率， $rel(k)$ 表示位置 $k$ 的文档是否相关，相关为 $1$ ，不相关为 $0$ 。

$MAP$ 即是将多个 $query$ 对应的 $AP$ 求平均:
$\operatorname{MAP} = \frac{\sum_{q=1}^Q \operatorname{AveP(q)}}{Q} \!$
$Q$ 为 $query$ 的数量。

NDCG

CG

$CG$ （cumulative gain，累计增益）可以用于评价基于打分/评分的个性推荐系统。假设我们推荐 $k$ 个物品, 这个推荐列表的 $CG_k$ 计算公式如下:
$CG_k=\sum_{i=1}^k \text{rel}_i$
$\text{rel}_i$ 表示第 $k$ 个物品的相关性或者评分。假设我们共推荐 $k$ 个电影， $\text{rel}_i$ 可以是用户对第i部电影的评分。

比如豆瓣给用户推荐了五部电影:
$M_1, M_2, M_3, M_4, M_5$
该用户对这五部电影的评分分别是:
$5, 3, 2, 1, 2$
那么这个推荐列表的 $CG$ 等于
$CG_5=5+3+2+1+2=13$

DCG

$CG$ 没有考虑推荐的次序，在此基础之后我们引入对物品顺序的考虑, 就有了 $DCG$ (Discounted CG), 折扣累积增益。公式如下:
$DCG_k=\sum_{i=1}^k \frac{2^{\text{rel}_i}-1}{\log_2(i+1)}$
上例中推荐列表的 $DCG$ 等于:
$DCG_5=\frac{2^5-1}{\log_2 2}+\frac{2^3-1}{\log_2 3}+\frac{2^2-1}{\log_2 4}+\frac{2^1-1}{\log_2 5}+\frac{2^2-1}{\log_2 6}=31+4.4+1.5+0.4+1.2=38.5$

NDCG

$DCG$ 没有考虑到推荐列表和每个检索中真正有效结果个数, 所以最后我们引入 $NDCG$ (Normalized discounted CG), 顾名思义就是标准化之后的 $DCG$ 。
$NDCG_k=\frac{DCG_k}{IDCG_k}$
其中IDCG是指 $Ideal \, DCG$ ，也就是完美结果下的 $DCG$ 。
继续上面的例子, 如果相关电影一共有7部:
$M_1, M_2, M_3, M_4, M_5, M_6, M_7$
该用户对这七部电影的评分分别是:
$5, 3, 2, 1, 2 , 4, 0$
把这 7 部电影按评分排序
5, 4, 3, 2, 2, 1, 0
这个情况下的完美 $DCG$ 是
$IDCG_5=\frac{2^5-1}{\log_2 2}+\frac{2^4-1}{\log_2 3}+\frac{2^3-1}{\log_2 4}+\frac{2^2-1}{\log_2 5}+\frac{2^2-1}{\log_2 6}=31+9.5+3.5+1.3+1.2=46.5$
所以
$NDCG_5 = \frac{DCG_5}{IDCG_5}=\frac{38.5}{46.5}=0.827$
$NDCG$ 是 $0$ 到 $1$ 的数，越接近 $1$ 说明推荐越准确。
NDCG提供了一种计算方式，当我们有其他排名类似的需求的时候， $NDCG$ 都是值得参考的，其 $Gain$ 以及 $Discounted$ 的计算的变化可以产生很多其他有价值的评价指标。

MRR

平均倒数排名(Mean Reciprocal Rank, MRR), 是统计学中，依据排序的正确性，对查询请求响应结果的评估。查询响应结果的倒数排名是第一个正确答案的倒数积。平均倒数排名是多个查询结果的平均值。
${\text{MRR}}={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{{\text{rank}}_{i}}}.\!$
平均倒数排名的倒数正好表示所有排名的调和平均值。

备注

如果所有结果都不正确，结果为 $0$
如果存在多个正确答案，考虑使用平均准确度 ( $MAP$ )

参考文献

最后编辑于：2019.02.26 17:20:57

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 216,372评论 6赞 498
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 92,368评论 3赞 392
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 162,415评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,157评论 1赞 292
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,171评论 6赞 388
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,125评论 1赞 297
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,028评论 3赞 417
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 38,887评论 0赞 274
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,310评论 1赞 310
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,533评论 2赞 332
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,690评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,411评论 5赞 343
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,004评论 3赞 325
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,659评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,812评论 1赞 268
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 47,693评论 2赞 368
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,577评论 2赞 353

推荐质量评价指标

推荐质量评价指标

Precision & Recall & F1-Measure

RMSE

MAP

NDCG

CG

DCG

NDCG

MRR

备注

参考文献

推荐阅读更多精彩内容