推荐系统中矩阵分解的应用

参考知乎这篇文章整理：

https://zhuanlan.zhihu.com/p/34497989

矩阵分解解决什么问题

推荐系统中的评分矩阵是高度稀疏的，存储开销较大，因此考虑对评分矩阵降维存储，也就是只提取User和Item间有对应关系的pair存储。

SVD(Singlur Value Decomposition，矩阵奇异值分解)

SVD的方法描述：假设矩阵M是一个m*n的矩阵，则一定存在一个分解 $M=U\Sigma V^t$ ，其中U是m*m的正交矩阵，V是n*n的正交矩阵，Σ是m*n的对角阵。

对角阵Σ的特殊性质，它的所有元素都非负，且依次减小，通常前10%的和就占了全部元素之和的99%以上，因此可以使用最大的k个值和对应大小的U、V矩阵来近似描述原始的评分矩阵。根据矩阵分解的定义，可以知道对角阵的每个元素其实是用户和物品之间的权重（相关性）。

但是由于奇异值分解要求矩阵是稠密的，并且计算量非常大，所以传统的SVD分解方法比较难用

Funk SVD(Latent Factor Model，隐语义模型)

这是一种基于SVD思想的填充原始评分矩阵的方法。

矩阵R为m×n的稀疏矩阵(sparse matrix),考虑用 Pm×r 和 Qr×n 两个矩阵的乘积 R̂ 去逼近矩阵R，误差用SSE，后面面两项为正则项。其算法意义层面的解释为通过隐含特征（latent factor）将user兴趣与item特征联系起来。

$J = \frac{1}{2} \left\| R - PQ \right\|^{2} + \lambda \left( \left\|P \right\|^{2} +\left\| Q \right\|^{2} \right)$

如何求出使得SSE最小的矩阵P和Q?

Stochastic Gradient Descent

将上面的损失函数进行展开，得到下式：

$J = \frac{1}{2}\sum _{\left(i,j \right) \in D} \left( r_{ij} - \sum_{k=1}^{r} p_{ik} q_{kj}\right)^2 + \lambda \left ( \left \| P \right \| ^2+ \left \| Q \right \|^2 \right )$

求J相对 $p_{ik}$ 的偏导：

$\frac{\partial J}{\partial p_{ik}} = \sum _{\left(i,j \right) \in D} \left( r_{ij} - \sum_{k=1}^{r} p_{ik} q_{kj}\right)q_{kj}+ \lambda p_{ik}$

求J相对 $Q_{kj}$ 的偏导：

$\frac{\partial J}{\partial q_{kj}} = \sum _{\left(i,j \right) \in D} \left( r_{ij} - \sum_{k=1}^{r} p_{ik} q_{kj}\right)p_{ik}+ \lambda q_{kj}$

在实际的运算中，为了P和Q中所有的值都能得到更新，一般是按照在线学习的方式选择评分矩阵中有分数的点对应的U、I来进行迭代。

SVD++

在绝大多数应用场景中，用户并不会显示的对物品给出评分，更多的是点击和浏览等隐式反馈，并且占比相当大。

添加了用户隐式兴趣的SVD++

甚至可以进一步扩展出SVD++的对偶问题，也就是从物品角度考虑，添加了对物品I提供了隐式反馈的用户集合U(I)：

基于物品角度考虑的SVD++

推荐系统中矩阵分解的应用

矩阵分解解决什么问题

SVD(Singlur Value Decomposition，矩阵奇异值分解)

Funk SVD(Latent Factor Model，隐语义模型)

SVD++

推荐阅读更多精彩内容