LLMRec: Large Language Models with Graph Augmentation for Recommendation

来源：WSDM 2024

摘要：长期以来，数据稀疏性的问题一直是推荐系统中的一个挑战，以前的研究都试图通过融合辅助信息（side information）来解决这个问题。然而，这种方法经常会引入副作用，如噪声、可用性问题和低数据质量，这反过来会阻碍用户偏好的准确建模，并对推荐性能产生不利影响。鉴于大型语言模型（LLMs）的最新进展，它具有广泛的知识库和强大的推理能力，作者提出了一个名为LLMRec的新框架，该框架通过采用三种简单而有效的基于llm的图增强策略来增强推荐系统。(i)加强用户-项目交互边，（ii）增强对项目节点属性的理解，以及（iii）从自然语言的角度直观地进行用户节点分析。此外，为了保证增强的质量，作者开发了一种去噪数据改进机制，其中包括噪声隐式反馈剪枝和基于mae的特征增强技术，有助于细化增强数据并提高其可靠性。在基准数据集上的实验结果表明，基于LLM的增强方法优于最先进的技术。

1. 动机

作者指出目前推荐领域中常见的两大问题：

（1）稀疏隐式反馈信号。数据稀疏性和冷启动问题阻碍了协作偏好的捕获，一些自监督方法取得了很好的效果，然而，考虑到现实世界的在线平台（如Netflix、MovieLens）从模式内容中获益，与一般的CF不同，最近的方法致力于将side information作为推荐的辅助信息。在推荐系统中，特别是在多模态内容中，解决数据稀疏性的策略有时会受到限制。这是因为与CF相关的复杂性和side information的缺乏可能会导致失真。因此，当在CF中融合side information时，确保准确捕获真实的用户偏好变得至关重要，以避免次优结果。

（2）辅助信息的数据质量问题。包含side information的推荐系统经常遇到可能对其性能产生负面影响的重大问题。i)数据噪声是利用side information的推荐系统面临的一个重要限制，其中属性或特征可能与用户偏好缺乏直接相关性。例如，在一个微视频推荐器中，如果包含了不相关的文本标题，但不能捕捉到视频内容的关键方面，就会引入噪声，对表示学习产生不利影响。包含这种无效的信息会混淆了模型，并导致有偏见或不准确的建议。ii)数据异质性，每一种side information都有自己独特的特征、结构和表示。忽略这种异质性会导致张量空间分布扭曲。弥合异构间隙是成功地统一合并side information的关键。iii)当side information缺乏某些属性或特性时，就会发生数据不完整性。例如，由于隐私问题，推荐系统可能很难收集足够的用户资料来了解他们的兴趣。此外，项目可能具有不完整的文本描述或缺少关键属性。这种不完整性损害了模型完全捕捉用户和项目的独特特征的能力，从而影响了推荐的准确性。

基于这两个问题，使llm作为推荐的有效数据增强器需要解决以下的技术挑战：

•C1：如何使llm通过显式增强隐式反馈信号来推理用户-项目交互？

•C2：如何确保llm增强内容的可靠性，以避免引入可能影响结果的噪声？

2. 增强策略（C1）

    作者提出了三种基于llm的策略来增强交互图： i)加强用户-项目交互边缘，ii)增强项目属性建模，以及iii)进行用户分析。

2.1 augmenting user-item interactions

    作者采用LLM作为知识感知采样器，从自然语言的角度对成对u-i训练数据进行采样。这可以将上下文知识集成到u-i交互中，帮助更好地理解用户偏好。具体来说，作者向每个用户的历史交互项目提供side information（例如，年份、类型），并将一个候选项目池C𝑢 = {,, ...,}输入LLM。然后，LLM将从C𝑢中选择用户𝑢可能（）或不太可能（）交互的项目。在这里，我们引入C𝑢是因为LLM不能对所有项目进行排序。从基本推荐者推荐的有限的候选集（如MMSSL，MICRO）中选择项目是一个实用的解决方案。这些候选C𝑢是具有高预测分数的硬样本，可以提供潜在的、有价值的正样本和硬负样本。值得注意的是，这里使用文本格式而不是id对应的索引来表示每个项。这种表示有几个优点： (1)它使推荐者能够充分利用数据集中的内容，(2)它直观地反映了用户的偏好。

其中，𝑖𝑢+，𝑖𝑢−是根据输入提示从用户𝑢的候选C𝑢中选择的BPR的阳性和阴性样本。增强的数据集包括成对的训练三联体（𝑢，𝑖𝑢+，𝑖𝑢−），即={（𝑢，𝑖𝑢+，𝑖𝑢−）|（𝑢，𝑖𝑢+）∈，（𝑢，𝑖𝑢−）∈}。文本的u-i增强提示包含不同的组成部分： i)任务描述，ii)历史交互，iii)候选项，以及iv)输出格式描述，如下图 (a).所示。

2.2 enhancing item attributes & user profiling

    利用LLM的知识库和推理能力，作者建议利用用户的历史交互和项目信息来总结用户档案，以克服隐私的限制。此外，基于LLM的项目属性生成旨在产生空间统一的、信息丰富的项目属性。基于LLM的side information增强范式包括两个步骤：

    i) 用户/项目信息的细化。使用来自数据集的交互和边信息的提示来让LLM生成最初不属于数据集的用户和项目属性。具体的例子如上图(b)(c).所示。

    ii) LLM增强的语义嵌入。增强的用户和项目信息将被编码为特征，并作为推荐的输入。使用LLM作为编码器提供了高效和最先进的语言理解，支持分析用户交互首选项和去偏置项目属性。

2.3 side Information Incorporation

    在获得用户/项目的增强辅助信息后，需要一种有效的合并方法。LLMRec包括一个标准程序： (1)增强语义投影，(2)协作上下文注入，以及(3)特征合并：

（1）增强语义投影。采用带有dropout的线性层不仅降低LLM增强语义特征的维数，而且将增强特征映射到自己的空间中。该过程可以表示为 = Linear（），其中∈R1×𝑑𝐿𝐿𝑀为输入特征，∈R1×𝑑为投影后的输出特征。

  (2) 协作上下文注入。为了将高阶协作连接注入到增强功能和中，LLMRec采用了轻量级的GNNs作为编码器。

  (3) 语义特征聚合。并不是以增强特征作为推荐器的可学习向量的初始化,而是选择将作为额外的组成添加到id对应的嵌入（e𝑢，e𝑖）当中。这允许使用尺度因子和归一化灵活地调整llm增强特征的影响：

    最终的预测表示为h𝑢和h𝑖∈R1×𝑑。用户配置文件为A𝑢，去偏项目属性为A𝑖，原始多模态辅助信息为M。具体的特征类型为f𝑘。作者使用聚合权值𝜔1和𝐿2归一化来调整特征向量来减轻分布间隙，以保证推荐编码器内附加特征的有效性。

3. 去噪训练（C2）

3.1 Augmented Optimization with Noise Pruning

    作者使用增强后的数据集来计算BPR损失，旨在通过利用llm增强的用户偏好来提高推荐者的性能：

    噪声剪枝。为了提高增强数据的有效性，作者剔除了不可靠的u-i交互噪声。从技术上讲，在对每次迭代进行排序后，在负号之前的最大值将被丢弃（即ui+和ui-分数相差最小的）。这有助于确定优先级和强调相关的监督信号，同时减轻噪声的影响。形式上可以重写如下：

3.2 Enhancing Augmented Semantic Features via MAE

    为了减轻噪声增强特征的影响，作者使用了MAE进行特征增强。具体来说，mask技术是为了降低模型对特征的敏感性，然后通过重构目标来增强特征编码器。形式上，我们选择节点子集⊂V，并使用掩码标记[MASK]来掩码它们的特征，表示为f[𝑀𝐴𝑆𝐾]，操作公式如下：

    重构损失如下：

    最终的优化目标是噪声修剪的BPR损失LBPR和特征恢复损失L𝐹𝑅的加权和。

4. 实验结果

4.1 实验结果

4.2 消融实验

4.3 参数分析