总结

1.ALS

2.基于ALS算法的改进

3.实验结果分析

4.结论


1.ALS

1.1ALS算法的基本思想

ALS(交替最小二乘法)将一个矩阵R分解成UV两个矩阵,使三者满足:RU^TV,其中R(m × n),U(m × d),V(d × n);d为隐藏因子的维度。
ALS方法常用于矩阵分解的推荐系统中。如:将用户对商品的评分矩阵分解为两个矩阵:一个用户对商品隐含特征的用户矩阵U,另一个是商品所包含的隐含特征的商品矩阵V。给出的损失函数如下:

\begin{aligned} L=& \min _{U, V} \sum_{i=1}^{m} \sum_{j=1}^{n}\left(r_{i j}-\mathbf{u}_{i}^{T} \mathbf{v}_{j}\right)^{2} \\ &+{\lambda_{1}}\|U\|_{F}^{2}+{\lambda_{2}}\|V\|_{F}^{2} \end{aligned}

其中r_{i,j}是用户-项目评分矩阵R的元素,u^T_i是所求用户矩阵U^T中的行元素,v_j是所求项目矩阵V中列元素,lambda是正则化系数。交替二乘法就是对L进行最小化求值,通过固定矩阵U,V两个矩阵之一,求解另一个矩阵。通过对UV矩阵的交替迭代求解,可以逐步优化分解的矩阵R

1.2问题分析

基于ALS的推荐模型中,模型的损失函数定义是非常重要的,根据上式求得矩阵U,V分别表示用户的隐含特征矩阵和项目的隐含特征矩阵。但是,这种根据公式RU^TV迭代近似求取矩阵U,V的方案,虽然能够很好的挖掘出用户和项目的潜在因素,却没有考虑用户与用户之间的相似性,因此求取的用户-项目评分矩阵R不能很好的体现出相似用户的影响因素。

2.基于ALS算法的改进

2.1 问题分析

在ALS模型中,模型的损失函数仅仅考虑了用户和项目的潜在因素,而忽略了用户与用户之间的相似性。因此我们设计提出了一种新的模型损失函数,将用户之间的相似性考虑进去。:

2.2改进后的算法

(1) 首先根据Pearson相关系数求出用户之间的相关性。公式如下:

其中s_{jq}是用户j和用户q的相似性,r_{ik}是用户i对物品k的评分,r_{fk}是用户f对物品k的评分。

(2) 将(1)步骤中的得到的相似性加进损失函数中,再最小化损失函数,得到最终的矩阵UV 。优化后的损失函数如下所示:

\begin{aligned} L=& \min _{U, V} \sum_{i=1}^{m} \sum_{j=1}^{n} \left(r_{i j}-\mathbf{u}_{i}^{T} \mathbf{v}_{j}\right)^{2} \\ &+{\alpha} \sum_{i=1}^{m} \sum_{f \in \mathcal{F}^{+}(i)} s_{i f}\left\|\mathbf{u}_{i}-\mathbf{u}_{f}\right\|_{F}^{2} \\ &+{\lambda_{1}}\|U\|_{F}^{2}+{\lambda_{2}}|V\|_{F}^{2} \end{aligned}

其中r_{i,j}是用户-项目评分矩阵R的元素,u^T_i是所求用户矩阵U^T中的行元素,v_j是所求项目矩阵V中列元素,λα是正则化系数,s_{if}是用户i和用户f的相似性。

最小化损失函数过程:先固定矩阵U,求解出矩阵V,然后再固定V,求解出U,不停的重复这过程,直到收敛或达到最大迭代次数。具体求解方法如下:

先固定V,对u_i求偏导,并令偏导为0,得到下面求解u_i的公式:

u_{i}=\left[V^{T} V+\lambda \mathrm{I}+\mathrm{a}\left(\sum_{f} s_{i, f}+\sum_{g} s_{i, g}\right) I\right]^{-1}\left[V^{T} r_{i}+\mathrm{a}\left(\sum_{f} s_{i, f} u_{f}+\sum_{g} s_{i, g} u_{g}\right)\right]

同理,固定U矩阵,对v_j求偏导,并令偏导为0,得到下面求解v_j的公式:

v_{j}=\left(U^{T} U+\lambda_{2} I\right)^{-1} U^{T} r_{j}

3.实验结果分析

3.1 实验数据

本实验使用的数据集是来自于GroupsLens提供的公开数据集MovieLens,该数据集在推荐算法的研究中被广泛使用,是由站点(http://movielens.umn.edu)提供。MovieLens数据集有很多种,本实验选用的是MovieLens-100k的数据集。

3.2评价指标MSE

MSE是均方误差的缩写,在推荐算法中主要是对评分预测进行评估。误差越小,意味着推荐的准确度越高。其公式为:

M S E=\frac{1}{M} \sum_{m=1}^{M}\left(y_{m}-\hat{y}_{m}\right)^{2}

其中y_m是真实分数,\hat{y}_{m}是预测的分数。

3.3实验结果对比

算法改进前:

改进前

算法改进后:

改进后

MSE对比:

MSE对比

从上面可以发现:
1.随着Iteration的增长,ALS和simALS的Train_mse越来越小
2.当Iteration=2时,ALS和simALS的Test_mse最小,分别为10.34、10.339
3.在ALS算中法加入用户与用户之间的相似性,模型的评价指标更优了

4.结论

基于ALS模型推荐算法是推荐系统中比较常用的一种通过矩阵分解技术进行推荐的算法。但ALS仅仅考虑了用户和项目的潜在因素,忽略了用户与用户之间的相似性。改进后的ALS算法加入了用户与用户之间的相似性。经过验证,加入了用户与用户之间的相似性,评价指标更优了,这说明我们的设计是成功的。不足之处是,我们还没有对参数进行调优,接下来会对参数进行调优,找出更多的不足之处,并对其进行改善。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,937评论 6 478
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,503评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,712评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,668评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,677评论 5 366
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,601评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,975评论 3 396
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,637评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,881评论 1 298
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,621评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,710评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,387评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,971评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,947评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,189评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,805评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,449评论 2 342

推荐阅读更多精彩内容