推荐系统数据集之MovieLens

简介

MovieLens其实是一个推荐系统和虚拟社区网站，它由美国 Minnesota 大学计算机科学与工程学院的GroupLens项目组创办，是一个非商业性质的、以研究为目的的实验性站点。GroupLens研究组根据MovieLens网站提供的数据制作了MovieLens数据集合，这个数据集合里面包含了多个电影评分数据集，分别具有不同的用途。本文均用MovieLens数据集来代替整个集合。MoveieLens数据集可以说是推荐系统领域最为经典的数据集之一，其地位类似计算机视觉领域里的MNIST数据集。

MovieLens

MoveLens是一个数据集合，其中根据创建时间、数据集大小等分为了若干个子数据集。每个数据集的格式、大小、用途均有所差异。本文以MovieLens 1M Dataset为例，具体介绍下此数据集，其它MovieLens数据集也大都类似，本文使用的数据集下载链接为ml-1m.zip。

MoveLens 1M 数据集包含了来自6040位在2000年加入MovieLens的用户，对大约3900部电影的1000209条匿名评价。

数据集概览

ml-1m.zip文件解压之后，可以得到4个文件，分别是：

movies.dat
ratings.dat
user.dat
README

README是一个Markdown格式文件，里面包含了记录了此数据集的基本信息，在此不赘述。我们主要关注一下前三个文件的内容和格式。

1、RATINGS 文件描述

打开ratings.dat文件，可以看到以下内容：

其文件格式为：
UserID::MovieID::Rating::Timestamp

UserID范围是1~6040，代表了6040个MovieLens用户
MovieID范围是1到3952，代表了3952部电影
Rating范围是1到5，代表了用户对电影的评级，最高5颗星，不允许半颗星存在
Timestamp是以秒为单位的时间戳

注意：每个用户至少会对20部电影进行评级。

2、USER 文件描述

打开users.dat文件，可以看到以下内容：

其文件格式为：
UserID::Gender::Age::Occupation::Zip-code

UserID范围是1~6040，代表了6040个MovieLens用户
Gender 'M'代表男性，'F'代表女性
Age 年龄的范围如下
- 1： 18岁以下
- 18： 18~24岁
- 25： 25~34岁
- 35： 35~44岁
- 45： 45~49岁
- 50： 50~55岁
- 56： 56岁以上
Occupation 的范围如下
- 0：其他或者未指定
- 1：学者/教育行业
- 2：艺术家
- 3：办事员/行政人员
- 4：大学生/研究生
- 5：服务业
- 6：医疗医护业
- 7：执行官/管理者
- 8：农民
- 9：家庭主妇
- 10：中小学生
- 11：律师
- 12：程序员
- 13：退休人员
- 14：销售人员/市场人员
- 15：科学家
- 16：自主创业
- 17：技术人员/工程师
- 18：商人/手工工作者
- 19：失业
- 20：作家
Zip-dode 邮政编码

3、MOVIES 文件描述

打开movies.dat,可以看到以下内容：

其文件格式为：
MovieID::Title::Genres

MovieID 范围是1到3952，代表了3952部电影
Title 是电影名称，由IMDB提供，包括了发行年份
Genres 电影题材由竖线分开，从以下类别中选取
- Action
- Adventure
- Animation
- Children's
- Comedy
- Crime
- Documentary
- Drama
- Fantasy
- Film-Noir
- Horror
- Musical
- Mystery
- Romance
- Sci-Fi
- Thriller
- War
- Western

数据处理

我们使用pandas库来读取和处理数据。

1、读取数据并显示

import pandas as pd
rnames = ["UserID", "MovieID", "Rating", "TimeStamp"]
ratings = pd.read_table("./ml-1m/ratings.dat", sep="::", header=None, names=rnames, engine='python')
print(ratings[:5])

unames = ["UserID", "Gender", "Age", "Occupation", "Zip-code"]
users = pd.read_table("./ml-1m/users.dat", sep="::", header=None, names=unames, engine='python')
print(users[:5])

mnames = ["MovieID", "Title", "Genres"]
movies = pd.read_table("./ml-1m/movies.dat", sep="::", header=None, names=mnames, engine='python')
print(movies[:5])

上述代码只显示了前五行数据，结果如下：

2、数据合并

根据UserID字段，合并ratings和users集合，代码如下：

data1 = pd.merge(ratings, users, on='UserID')
print(data1[:5])

结果如下：

可以看到这两个数据集根据UserID这一字段进行了合并，形成的新数据集包含了8列。
根据MovieID合并ratings和movies数据集，代码如下：

data2 = pd.merge(ratings, movies, on='MovieID')
print(data2[:5])

结果如下：

3、分组之后选择某一列进行运算

# 将data2以 ’MovieID‘，’Title‘两列进行分组，并计算Rating出现的次数
data3 = data2.groupby(['MovieID', 'Title'], as_index=False)['Rating'].count()
# 将Rating改名为Rating_Count
rating_count_by_movie.columns=['MovieID','Title','Rating_Count']
# 以Rating_Count字段进行降序排序
rating_count_by_movie.sort_values(by=['Rating_Count'],ascending=False,inplace=True)
print(data3[:5])

结果如下：

可以看到，我们只取了合并后的数组的'MovieID'、'Title'两列的元素，并且统计了有多少用户对电影进行了评分，接着按照评分人数进行了降序排序。

4、分组运算方法agg

# 将data2以 ’MovieID‘，’Title‘两列进行分组，并且对Rating这一列的数据计算均值和标准差
rating_stddev = data2.groupby(['MovieID','Title']).agg({'Rating':['mean','std']})
rating_stddev.head(5)

结果如下：

此操作可以计算用户对电影的评分的均值和标准差，然后降序排序，可以在一定程度上反应最受用户喜爱的电影。

5、筛选出指定的列

ratings.dat数据集里面包含了4列，其中最后一列通常不是我们所需要的，可以通过以下代码进行筛选：

ratings_1 = ratings[['UserID','MovieID','Rating']]
print(ratings_1[:5])

结果如下：

6、遍历

对于上述数据，我们可以采用如下方法来逐行遍历：

for idx, row in ratings_1.iterrows():
    userid = int(row['UserID'])
    movieid = int(row['MovieID'])
    rating = int(row['Rating'])
    print(userid, movieid, rating)
    break

上述实例代码只遍历了一行就跳出，结果如下：

其他的操作可以参考pandas官方文档。