【推荐系统网上学习笔记整合】
推荐系统基本术语
来源: https://juejin.im/post/5c3ff1e86fb9a049f8199016
https://yq.aliyun.com/articles/614417
推荐系统完成计算需要三部分数据:
用户数据:指用来建立用户模型的数据,这些数据根据不同的推荐算法而不同,典型的数据包括用户兴趣点、用户profile、用户的社交好友关系等。
内容数据:指用来描述被推荐内容主要属性的数据。如一部电影导演、演员、类型、风格。
-
用户-内容数据:主要指用户内容的交互。分为显示和隐式。显示主要指评价、打分、购买等。隐式包括搜索和点击等。
收集数据是为了分析用户的偏好,形成用户偏好矩阵。 【用户对每一个物品的偏好得到一个经过加权求得的值】
推荐系统主流算法:
- 基于内容的推荐:根据用户过去喜欢的内容推荐相似的内容
- 基于协同过滤的推荐:根据与当前用户相似的用户的兴趣点,给当前用户推荐相似的内容
- 基于人口统计学的推荐:根据用户共同的年龄、地域等人口统计学信息,进行共同的推荐 【人口因素】
- 基于知识的推荐:根据对用户和内容的特定领域知识,给特定的用户推荐特定的内容 【特定领域】
- 基于团体的推荐:根据用户的社交好友关系,给用户推荐其好友感兴趣的内容
- 混合推荐:以上各种算法的特定组合
数据预处理:
- 减噪:
用户行为数据是在用户的使用过程中产生的,其中包含了大量的噪音和用户误操作。比如因为网络中断,用户在短时间内产生了大量点击的操作。通过一些策略以及数据挖掘算法,来去除数据中的噪音。
- 归一化:
清理数据的目的是为了通过对不同行为进行加权,形成合理的用户偏好矩阵。用户会产生多种行为,不同行为的取值范围差距可能会非常大。比如:点击次数可能远远大于购买次数,直接套用加权算法,可能会使得点击次数对结果的影响程度过大。于是就需要归一算法来保证不同行为的取值范围大概一致。最简单的归一算法就是将各类数据来除以此类数据中的最大值,以此来保证所有数据的取值范围都在[0,1]区间内。
- 相似度计算;
包括余弦相似度,皮尔逊相关系数,jaccard相关系数。欧几里得距离,曼哈顿距离,切比雪夫距离,闵可夫斯基距离【是欧氏距离(p=2)、曼哈顿距离(p=1)和切比雪夫距离(p=无穷)的推广】等
-
抽样
主要用于抽样计算以及最后的交叉验证 随机抽样/分层抽样
维度约减
数据过多,尝试降维。PCA(特征选择,保留主要的一些维度)
奇异值分解(特征构造,将数据从高维映射到低维)
分类
kNN 决策树 基于规则的分类器 贝叶斯神经网络 SVM 集成学习
分类器【之后put上公式】
Precision-recall :准确率-召回率,根据混淆矩阵计算
F1 :结合准确率-召回率的一个综合指标
ROC :直观的曲线比较分类器性能
AUC :ROC的定量化表达
MAE :平均绝对误差
RMSE :平均根方误差
其它术语:
- 冷启动:刚刚开始做推荐的时候,是没有大量且有效的用户行为数据的,就利用商品本身的内容数据。