title: Mahout 如何进行 Precision 和 Recall 的计算
date: 2016-08-18 17:30:00
tags: Mahout
categories: 推荐系统
当为某一个用户做推荐评估时，选择一个临界值，以该临界值为参照为该用户构造一个目标最大击中集（即相关项RelevantItemsIDs），然后将该用户数据中的包含在最大击中集中的物品去除，这样形成一个新的训练集。这个新的训练集中，只是去除了部分数据。然后，使用该训练集为该用户进行推荐。如果推荐的物品包含在最大击中集中，则说明击中。依照这个办法为该用户计算 Precision 和 Recall 值。依照这个办法为所有的用户计算 Precision 和 Recall 值。然后，Precision 和 Recall 的平均值作为模型的 Precision 和 Recall 值。
RecommenderIRStatsEvaluator是一个接口，用于得到推荐系统的准确率，召回率等统计指标。
它定义的函数如下
public IRStatistics evaluate(RecommenderBuilder recommenderBuilder, DataModelBuilder dataModelBuilder, DataModel dataModel, IDRescorer rescorer, int at, double relevanceThreshold, doubleevaluationPercentage)
/**
* @param recommenderBuilder
* 它通过public Recommender buildRecommender(DataModel model)定义推荐系统创建的方式；
* @param dataModelBuilder
* 数据模型创建的方式，如果已经创建好了数据模型，一般这个参数可以为null
* @param dataModel
* 推荐系统使用的数据模型
*
* @param rescorer
* 推荐排序的方式，一般情况下可以为null
*
* @param at
* 推荐几个物品（TOPN),，它用来定义计算准确率的时候，一个user可以拥有的相关项items的最大个数，相关项item定义为user对这个item的评价超过了relevanceThreshold的项
* @param relevanceThreshold
* 相关临界值 ,和at一起使用定义一个user的相关项
计算临界值
double theRelevanceThreshold = Double.isNaN(relevanceThreshold) ? computeThreshold(prefs)
: relevanceThreshold;
getRelevantItemsIDs
按照用户对物品的打分从大到小排序，将大于设定的的relevanceTheshold的值存入relevantItemIDs中，relevantItemIDs最大值为at
/**
* getRelevantItemsIDs的实现，
*1.首先得到userID的Preferences
*2.创建一个FastIDSet用来保存相关项的id，大小为at
*3.prefs根据值大小排序
*4.遍历pref，如果user对这个item的评价prefs.getValue(i)不小于相关阈值，则将这个item的加入相关项，最多取at个满足条件的item
*/
FastIDSet relevantItemIDs = dataSplitter.getRelevantItemsIDs(userID, at, theRelevanceThreshold, dataModel);
public FastIDSet getRelevantItemsIDs(long userID,
int at,
double relevanceThreshold,
DataModel dataModel) throws TasteException {
PreferenceArray prefs = dataModel.getPreferencesFromUser(userID);
//定义最大理论击中物品集合
FastIDSet relevantItemIDs = new FastIDSet(at);
//将用户的打分排序
prefs.sortByValueReversed();
for (int i = 0; i < prefs.length() && relevantItemIDs.size() < at; i++) {
if (prefs.getValue(i) >= relevanceThreshold) {
relevantItemIDs.add(prefs.getItemID(i));
}
}
return relevantItemIDs;
}
获取训练集
这个训练集的构造规则是：
- 对于其它的用户，将他们所有的（item，preference）都加入训练集；
- 对于这个用户user，将它的除了相关项之外的其它项的喜好加入训练集；
然后，我们使用推荐算法进行推荐。推荐的时候，我们就可能给UserID 推荐移除的物品或者其他的物品。
FastByIDMap<PreferenceArray> trainingUsers = new FastByIDMap<PreferenceArray>(dataModel.getNumUsers());
//对所有用户进行处理
//processOtherUser :Adds a single user and all their preferences to the training model.
LongPrimitiveIterator it2 = dataModel.getUserIDs();
while (it2.hasNext()) {
dataSplitter.processOtherUser(userID, relevantItemIDs, trainingUsers, it2.nextLong(), dataModel);
}
构造训练模型
DataModel trainingModel = dataModelBuilder == null ? new GenericDataModel(trainingUsers): dataModelBuilder.buildDataModel(trainingUsers);
进行推荐
Recommender recommender = recommenderBuilder.buildRecommender(trainingModel);
int intersectionSize = 0;
List<RecommendedItem> recommendedItems = recommender.recommend(userID, at, rescorer);
计算推荐结果包含在相关项中的个数
List<RecommendedItem> recommendedItems = recommender.recommend(userID, at, rescorer);
for (RecommendedItem recommendedItem : recommendedItems) {
if (relevantItemIDs.contains(recommendedItem.getItemID())) {
intersectionSize++;
}
}
计算查全率、查准率
int numRecommendedItems = recommendedItems.size();
// Precision
if (numRecommendedItems > 0) {
precision.addDatum((double) intersectionSize / (double) numRecommendedItems);
}
// Recall
recall.addDatum((double) intersectionSize / (double) numRelevantItems);
参考
http://pan.baidu.com/s/1pKE97wJ
http://www.myexception.cn/cloud/1983215.html
