在个性化推荐系统领域，适应不断变化的用户偏好以及新用户和新项目的持续涌入是一个重要的挑战。传统的推荐模型通常依赖于静态的训练-测试方法，难以跟上这些动态需求。流式推荐，尤其是通过连续图学习，已经成为一种新颖的解决方案，吸引了学术界和工业界的广泛关注。然而，现有的方法要么依赖于历史数据重放，这在数据隐私法规日益严格的情况下变得越来越不切实际；要么无法有效解决过度稳定性问题；要么依赖于模型隔离和扩展策略，这需要大量的模型扩展，由于参数集庞大而导致更新耗时。为了解决这些困难，我们提出了GPT4Rec，一种用于流式推荐的图提示调优方法。
1. 引言
推荐系统（RS）在塑造个性化体验方面变得不可或缺，广泛应用于电子商务、在线流媒体、网络搜索等多个领域。推荐系统不仅指导用户在海量选项中做出选择，还推动了用户参与和客户满意度，使其成为数字平台成功的关键因素。在解码复杂用户偏好的多种技术中，图神经网络（GNN）因其能够巧妙地揭示用户-项目交互的复杂模式，在提升推荐精度和效果方面表现突出。
然而，这些方法在现实世界中的应用往往未能兑现其通过基准数据集所做出的承诺。这种差异主要源于其传统的离线训练和测试方法。在这些场景中，模型在大型静态数据集上进行训练，然后在有限的测试集上进行评估，这一过程并未考虑现实世界数据的动态性质。与此形成鲜明对比的是，现实世界的推荐系统处于不断变化的状态，新用户偏好、项目和交互不断涌现，导致数据分布随时间变化。这不仅使得基于历史数据训练的模型难以有效处理新的多样化数据，同时在更新模型以适应新数据时，也面临着“灾难性遗忘”的风险。这一问题在推荐系统中尤为突出，因为保留旧的但相关的信息对于维持对用户偏好和行为的整体理解至关重要。
2. 相关工作
2.1 流式推荐
传统的推荐系统受到静态数据集的限制，难以预测不断变化的用户偏好和趋势。流式推荐是一种动态方法，通过随时间更新数据和模型来解决这些挑战。初期研究主要关注项目的流行度、新颖度和趋势分析，最近的进展则将协同过滤和矩阵分解方法引入流式推荐中。此外，在线聚类的Bandits和协同过滤Bandits方法也逐渐兴起。图神经网络在流式推荐模型中的应用因其复杂关系建模能力而受到关注，这一转变代表了该领域的重大进步。
2.2 连续学习
连续学习（CL）旨在通过策略防止灾难性遗忘，并实现知识转移。主要算法分为三类：经验重放、模型正则化和模型隔离。最近，连续图学习在流式推荐系统中的应用引起了广泛关注，其重点是处理按时间顺序连续到达的数据，而不仅仅是按任务分割的数据。
2.3 图提示调优
提示调优广泛应用于自然语言处理（NLP）和计算机视觉（CV）领域，旨在弥合预训练任务和微调任务之间的差距。最近，这一技术在图形场景中的应用也逐渐增多，凸显了其多样性和有效性。在图神经网络（GNN）领域，多种创新的提示调优方法相继出现，如GPPT、GraphPrompt和All-in-One等。
3. 预备知识
我们首先形式化流式推荐的连续图学习问题，然后简要介绍本文中使用的三种经典图卷积推荐模型。
3.1 定义与公式
定义 1. 流式推荐。大规模用户-项目交互数据 ˜𝐷 持续流入工业推荐系统。为了方便，连续的数据流被分割为具有相同时间跨度的连续数据段 𝐷1, …, 𝐷𝑡 , …, 𝐷𝑇。在每个时间段 𝑡，模型需要优化在 𝐷𝑡 上的推荐性能，同时继承 𝐷1, 𝐷2, …, 𝐷𝑡 −1 的知识。推荐性能沿整个时间线进行评估。
定义 2. 流式图。流式图表示为图的序列 𝐺 = (𝐺1, 𝐺2, …, 𝐺𝑡 , …𝐺𝑇)，其中 𝐺𝑡 = 𝐺𝑡 −1 + Δ𝐺𝑡。𝐺𝑡 在时间 𝑡 是一个带属性的图，包含邻接矩阵 𝐴𝑡 和节点特征 𝑋𝑡。Δ𝐺𝑡 = (Δ𝐴𝑡 , Δ𝑋𝑡) 表示图结构和节点属性的变化。
定义 3. 连续图学习。给定流式图 𝐺 = (𝐺1, 𝐺2, …, 𝐺𝑡 , …𝐺𝑇)，连续图学习（CGL）的目标是在序列学习 Δ𝐺𝑡 (𝐷𝑡) 的同时，有效转移历史知识到新图段。
4. 方法论
我们提出了GPT4Rec方法，以应对流式推荐中的连续图学习问题。首先，我们分解复杂的用户-项目交互图为多个视图，以捕捉图中的独特交互模式。然后，我们设计了节点级和结构级的提示，分别用于适应节点属性变化和图结构变化。最后，我们创新性地设计了跨视图级提示以聚合多视图信息。
4.1 复杂图的分解策略
用户-项目交互图因其动态和互连特性而复杂。GPT4Rec通过一系列线性变换将图分解为多个视图，每个视图捕捉特定的交互方面。这种分解允许模型分别处理不同级别的关系变化，从而提高模型的适应性和精确性。
4.2 提示设计
4.2.1 节点级提示
节点级提示主要针对图中单个节点的属性或特性，通过一组可学习参数引导模型适应节点特征的变化。这些提示通过上下文引导机制，在新数据到来时动态调整模型的关注点，使其能够快速适应新的节点特性。
4.2.2 结构级提示
结构级提示侧重于图中更广泛的连接模式和关系，通过消息传递机制适应整体图结构的变化。每个视图设计了一组可学习的结构级提示，以捕捉动态的图关系。
4.3 分解表示的聚合
多视图信息的聚合对于提供动态用户-项目交互的全面理解至关重要。我们提出了跨视图级提示来增强模型的动态适应性，通过更新一小组“代码簿”提示来调整注意力机制，从而高效地聚合多视图信息。
4.4 讨论
与传统的模型隔离和扩展方法不同，GPT4Rec通过一组上下文自适应提示实现知识的动态存储和适应。这些提示不直接存储知识，而是通过修改模型对新数据的解释和处理方式，以灵活、轻量的方式引导模型学习。
4.5 理论分析
我们进行了理论分析，以保证GPT4Rec在动态图上的正确性。理论分析表明，GPT4Rec至少具有与使用全数据进行全局微调相同的表达能力。
5. 实验
我们在四个真实世界的时间戳推荐数据集上进行了实验，以验证我们的提案。实验结果表明，GPT4Rec在各个数据集上均表现出色，显著优于现有基线方法。
6. 结论
本文提出了GPT4Rec，一种用于流式推荐的图提示调优方法。通过分解复杂的用户-项目交互图并设计多级提示，GPT4Rec能够高效地捕捉和适应动态交互模式，保持历史知识的完整性，并实现对新数据的快速适应。广泛的实验验证了GPT4Rec的有效性和效率。
参考文献
- Kian Ahrabian, et al. "Structure aware experience replay for incremental learning in graph-based recommender systems." CIKM (2021).
- Jie Cai, et al. "Multimodal continual graph learning with neural architecture search." WWW (2022).
- Andreas Lommatzsch, et al. "Real-time recommendations for user-item streams." SAC (2015).
- Mingchen Sun, et al. "GPPT: Graph pre-training and prompt tuning to generalize graph neural networks." KDD (2022).
本文展示了GPT4Rec在流式推荐系统中的应用，通过创新性的图提示调优方法，解决了传统方法在动态数据环境中的诸多挑战，为推荐系统的持续学习和适应性提供了新的思路。
GPT4Rec: A Summary and Analysis
The provided document introduces GPT4Rec, a novel approach for streaming recommendation using graph prompt tuning. Here's a breakdown of the paper's key aspects:
Problem: Traditional recommender systems struggle to adapt to the dynamic nature of user-item interactions. New users, items, and preferences constantly emerge, leading to a distribution shift between training and real-world data. This often results in catastrophic forgetting, where models lose valuable knowledge from past data while trying to learn from new information.
Existing Solutions and their limitations:
- Replay Buffer: These methods store a subset of past data and replay it during training. However, they are limited by buffer size and raise privacy concerns.
- Model Regularization: These techniques constrain model parameters to prevent drastic changes. However, they struggle when new data significantly deviates from past patterns.
- Model Isolation and Expansion: These approaches isolate old knowledge and create new learning spaces for new data. However, they lead to increased model complexity and slow updates.
GPT4Rec's Approach:
- Disentangling Complex Graphs: GPT4Rec divides the user-item interaction graph into multiple views using linear transformations. This allows the model to focus on specific aspects of the graph, such as user-to-item interactions or item-to-item similarities, without losing sight of the overall interconnectedness.
- Adaptive Learning with Prompts: GPT4Rec employs three types of prompts to guide the model's learning process:
- Node-Level Prompts: These prompts capture changes in individual node attributes or properties. They are weighted based on their relevance to specific nodes, allowing the model to focus on the most pertinent information.
- Structure-Level Prompts: These prompts capture broader patterns of connectivity and relationships within the graph. They decompose sub-graph structures into smaller, more manageable components, enabling the model to adapt to changes in the overall graph topology.
- View-Level Prompts: These prompts aggregate information from the different disentangled views, ensuring a comprehensive understanding of the evolving graph.
Advantages of GPT4Rec:
- Efficient Adaptation: GPT4Rec's prompt-based approach allows for rapid adaptation to new data streams without requiring extensive model modifications.
- Knowledge Preservation: By strategically utilizing prompts, GPT4Rec retains valuable knowledge from past data while effectively incorporating new information.
- Theoretical Guarantees: The paper provides theoretical analysis demonstrating that GPT4Rec possesses at least the expressive power of global fine-tuning.
Evaluation:
The paper claims that GPT4Rec outperforms state-of-the-art baselines on four real-world datasets, demonstrating its effectiveness for streaming recommendation.
Overall, GPT4Rec presents a promising solution for addressing the challenges of streaming recommendation by leveraging graph prompt tuning. Its ability to disentangle complex graphs, adapt to evolving data patterns, and preserve valuable knowledge makes it a significant contribution to the field.