Sequential Recommendation with Graph Neural Networks sigir 21

摘要

顺序推荐旨在利用用户的历史行为来预测他们的下一次交互。现有的工作还没有解决序列推荐中的两个主要挑战。首先，用户在其丰富的历史序列中的行为往往是隐含的、噪声的偏好信号，不能充分反映用户的实际偏好。此外，用户的动态偏好通常会随着时间的推移而快速变化，因此很难捕捉其历史序列中的用户模式。在这项工作中，我们提出了一个称为Surge的图神经网络模型来解决这两个问题。具体地说，Surge通过基于度量学习将松散的项目序列重构为紧凑的项目-项目兴趣图，将长期用户行为中的不同类型的偏好整合到图中的簇中。通过在兴趣图中形成密集的簇，这有助于明确区分用户的核心兴趣。然后，我们在构造的图上进行簇感知和查询感知的图的卷积传播和图的池化。它从噪声的用户行为序列中动态融合和提取用户当前激活的核心兴趣。我们在公共和专有工业数据集上进行了广泛的实验。实验结果表明，与最先进的方法相比，我们提出的方法具有显著的性能提升。对序列长度的进一步研究证实，该方法能够有效、高效地对长行为序列进行建模。

1引言

顺序推荐试图通过利用用户的历史行为序列来预测用户的下一步行为，这在现代在线信息系统(如新闻、视频、广告等)中已被广泛采用。与传统的静态建模用户偏好的推荐任务不同，顺序推荐能够捕获用户的进化和动态偏好。例如，用户可能更喜欢只在世界杯期间观看足球新闻，这可以被视为一种短期偏好。

已有的研究从三个角度认识到对快速变化的短期偏好进行建模的重要性。具体地说，早期的努力[23，46]采用人类设计的规则或注意力机制来为历史上相互作用的项目分配随时间衰减的权重。第二类工作[10，45]利用递归神经网络来总结行为序列，但由于难以对长期依赖关系进行建模，它们在捕捉用户动态兴趣方面存在短期瓶颈。最近的解决方案[39]联合建模长期和短期利益，以避免忘记长期利益，但长期/短期利益的划分和整合仍然具有挑战性。简而言之，上述工作通常更多地集中在近期的用户行为上，而不能充分挖掘较旧的行为序列来准确地估计他们当前的兴趣。因此，在顺序推荐中有两个主要挑战，到目前为止还没有得到很好的解决，如下所示。

长序列中的用户行为反映了隐含的和嘈杂的偏好信号，用户可能会与许多具有隐含反馈的项目进行交互，例如点击和观看。与可以推断用户偏好(如喜欢和收藏)的显式反馈不同，单个隐式反馈不能反映用户偏好。用户可以在大多数时间点击不是他们感兴趣的项目，并且之后不会选择类似的项目用于交互。然而，这些记录将成为用户行为历史中的噪音，恶化了对他们真正兴趣的建模。

由于用户偏好的多样性，用户偏好总是随着时间的推移而变化，正如我们已经提到的，用户偏好是在变化的，无论是慢还是快。在给定的时间点，某些首选项可能仍处于激活状态，而另一些则可能已停用。因此，即使我们已经从隐含的和噪声的行为中提取了用户偏好，但仍然很难建模它们在历史上是如何变化的，并估计当前时刻激活的偏好，这是推荐模型的核心。

为了解决这两个问题，我们提出了一种基于图的卷积网络提取隐含偏好信号的方法。然后使用动态图池来捕获偏好的动态。具体地说，我们首先将松散项序列转换为紧项-项图，并设计了一个关注图卷积网络，将弱信号收集成能准确反映用户偏好的强信号。然后，我们提出了一种动态图池技术，该技术自适应地保留激活的核心偏好，用于预测用户的下一步行为。

综上所述，本文的主要贡献如下：

• 通过考虑隐含信号行为和快速变化的偏好，我们从一个新的角度对序贯推荐进行了研究。
• 我们提出通过在构建的项-项兴趣图上设计基于图神经网络的模型，将用户行为中的隐含信号聚合为显性信号。然后，我们设计了动态池来过滤和保留激活的核心偏好以供推荐。

2 PROBLEM FORMULATION

3 模型

图1说明了我们提出的SURGE模型，该模型由以下四个部分组成，我们将逐一详细说明。

• 兴趣图的构建：通过基于度量学习将松散的项目序列重构为紧密的项目-项目兴趣图，明确整合和区分长期用户行为中不同类型的偏好。
• 兴趣融合图卷积层：在构建的兴趣图上进行图形卷积传播，动态融合用户兴趣，强化重要行为，弱化噪声行为。
• 兴趣提取图池层 考虑用户在不同时刻的不同偏好，进行动态图池化操作，自适应地保留动态激活的核心偏好。
• 预测层：在将汇集的图形展平成简化的序列后，我们对增强的兴趣信号的演变进行建模，并预测用户有较高概率与之交互的下一项。

3.1 兴趣图的构建

为了在用户丰富的历史行为中整合和区分不同类型的偏好，我们可以将松散的项目序列转换为紧凑的项目-项目兴趣图。两个项目之间的共现关系是一个合理的构建标准，但挑战在于，共现关系的稀疏性不足以为每个用户生成一个连通图。在这一部分中，我们提出了一种基于度量学习的新方法，为每个交互序列自动构建图结构，以探索其兴趣分布。

3.1.1原始图形构造

通过将每个用户的交互历史表示为图形，更容易区分他/她的核心兴趣和外围兴趣。由于连接了更多的相似兴趣，核心兴趣节点比外围兴趣节点具有更高的度，并且相似兴趣的频率越高，子图就越密集、越大。这样就构建了一个先验框架，即邻居节点相似，密度子图是用户的核心兴趣。