python中有保存数据集有两种类型比较常用
1.列表:由一组任意类型的值构成的有序列表,写法上使用方括号 ' [] '
eg: stuent = ['lily','peter','sam']
student_age = [20,21,22]
2.字典:由一组名值对构成的无序集合,类似java 中的hash map 写法上使用大括号构成 ‘{}’
eg :student_info ={'lily':20,'peter',21,'sam':22}
列表推导式:一种简洁的语法形式,可以将一个列表根据过滤转换成另一个列表,也可以利用它将函数应用于列表中的元素,形式如下:
[表达式 for 变量 in 列表]
或者:
[表达式 for 变量 in 列表 if 条件]
人与人之间的相似度评价
1.欧几里德距离:
将所有参与者都根据对比参数和评价值标注与坐标轴上,计算两者间的直线距离的平方和的根,python中使用pow(n,2)来计算
2.皮尔逊相关度
判断两组数据与某一直线的拟合程度的一种度量
举例:业务需求:根据一个用户评价电影的数据集,为某个用户推荐合适他口味的且没有观看过得电影列表
我们有两个思路:
1.可以根据要推荐者与其他评论者的相似程度来推荐,某个评论者与需要推荐的用户越相近,那就优先推荐这个评论者的电影给用户,这就是基于用户的协作型过滤
2.为每部影片预先计算好最为相近的其他影片,然后当我们想为某位用户提供推荐时,就可以根据他曾今评过分的影片,并选出排位靠前者,再构造出一个加权列表,其中包含了与这些选中物品最为相近的影片,尽管第一步让我们检查所有数据,但是物品间的比较不会像用户间的比较那么频繁变化,这就是基于物品的协作型过滤
那如何选择两种过滤方式呢?根据实际情况,如果采用用户协作型,对于大型网站,一位用户需要跟其他所有用户进行比较,速度是无法忍受的,其次如果销售物品数量过多,用户偏好方面彼此重叠很少,这样的相似性判断是不合理的。所以我们采取物品协作型过滤。
采用物品协作型过滤的计算过程如下
1.首先构造物品比较数据集
2.调用topMatches 方法,找出最为相近的电影集()
3.计算电影与电影间相对距离的函数是sim_distance ,返回值越接近1,越相似 如下
调用calculateSimilarItems函数返回的是一个包含10条电影中每一部电影与其他电影的相似度值得数据集
4.从candy看过的影片和评价中为Candy推荐影片
我们先获取candy看过的每一部影片和没有看过的影片的相似度分别乘以candy为每一部影片的评分(权重)得到candy还未看过的这部影片的相似度评价值总值,然后除以相似度和,得到预期candy会对这个未观看过的影片的平均评价值,比较所有未过看过的影片的预期评价值的数据集,按大小排列,就能得到为candy 推荐的影片列表
代码如下
最后调用代码及打印结果如下
总结:在针对大数据集生成推荐列表时,基于物品进行过滤的方式会明显比基于用户的快,但也有维护物品相似度表的额外开销,对于像电影这种密集型的数据,基于用户与基于物品的效果是一样的,但对于稀疏型,基于物品的过滤通常优于基于用户的过滤