传统的推荐系统往往只关注用户行为数据,却忽略了用户行为背后的理性思考。而近年来,大型语言模型(LLM)的崛起,为推荐系统注入了新的活力。LLM强大的语义理解能力,可以帮助我们更深入地理解用户和商品之间的关系,从而实现更精准的推荐。
然而,现有的LLM推荐系统大多只关注用户和商品之间的交互,而忽略了这些交互背后的理性思考。 比如,用户在购买商品后留下的评论,可能包含了用户对商品属性的评价,也可能包含了用户自身偏好的体现。如果仅仅将评论视为文本,LLM就无法准确地识别出用户和商品的真实联系。
为了解决这个问题,我们提出了一种名为RDRec的推荐系统,它能够从用户评论中提取出用户偏好和商品属性的理性思考,并将其融入到推荐模型中。
💡 理性之光:从评论中提取理性思考
RDRec的核心思想是利用LLM强大的语义理解能力,从用户评论中提取出用户偏好和商品属性的理性思考。我们使用了一种巧妙的提示模板:“一位用户购买了一件商品,他说‘{评论}’。用两句话分别解释用户的偏好和商品的属性。”
例如,用户评论“这款游戏很有趣,因为我们不得不改变策略来防止她玩阴谋卡牌”,RDRec可以识别出用户的偏好是“策略性思考”,商品的属性是“阴谋卡牌”。
通过这种方式,RDRec可以将用户评论转化为结构化的信息,从而更准确地理解用户和商品之间的关系。
🎯 推荐之钥:理性思考驱动推荐
RDRec利用提取出的理性思考来驱动推荐。它将用户偏好和商品属性信息融入到推荐模型中,从而实现更精准的推荐。
RDRec使用了PrOmpt Distillation (POD)作为其基础框架,并在此基础上加入了理性思考生成任务。 具体来说,RDRec会生成两个提示向量,分别用于生成用户的偏好和商品的属性。然后,RDRec将这两个提示向量与用户和商品的ID信息进行拼接,并将其输入到一个小型模型中,最终生成推荐结果。
📊 实验验证:RDRec的优异表现
我们使用三个真实世界数据集对RDRec进行了测试,结果表明RDRec在序列推荐和Top-N推荐任务中都取得了最先进的性能。
RDRec在序列推荐任务中比其他模型的性能提升了0.5%~9.8%,而在Top-N推荐任务中比其他模型的性能提升了12.1%~42.2%。 这表明,学习用户评论中的理性思考可以有效地提升推荐系统的性能。
此外,我们还发现,RDRec在Top-N推荐任务中比序列推荐任务的性能提升更大。 这说明,用户偏好和商品属性的具体信息对于推荐未知的商品更加重要,而序列推荐模型则更依赖于用户行为模式的准确捕捉。
🧐 深入分析:RDRec的优势
1. 计算效率: RDRec的计算复杂度与用户交互次数相关,而与用户和商品的数量无关。相比于其他基于图卷积网络的推荐模型,RDRec的计算效率更高,更适合大规模应用。
2. 理性思考的价值: 我们发现,即使用户对商品的评价是负面的,LLM也能客观地识别出用户需求和商品属性。例如,用户评论“除非孩子真的对这本书感兴趣,否则我不建议购买”,LLM仍然能够识别出这本书的属性是“关于建筑车辆的彩色图画书”。这表明,商品的客观属性比用户主观评价在真实世界推荐中更加重要。
3. 幻觉问题: 尽管RDRec取得了显著的性能提升,但它仍然面临着LLM幻觉的问题。当用户评论非常短时,提示可能会导致LLM产生幻觉。如何解决LLM幻觉问题,是未来需要进一步探索的方向。
展望未来:
RDRec为LLM推荐系统提供了新的思路。未来,我们可以进一步探索以下方向:
- 改进序列推荐的提示模板: 为了更好地捕捉用户的短期行为模式,我们可以设计更有效的提示模板,帮助LLM更好地理解用户的近期行为。
- 增强RDRec的解释生成能力: RDRec可以生成用户偏好和商品属性的理性思考,但它还不能解释为什么推荐这些商品。未来,我们可以增强RDRec的解释生成能力,帮助用户更好地理解推荐结果。
参考文献:
- Li, Y., Wang, X., Li, J., & Zhang, Y. (2022). Towards effective news recommendation with large language models. In Proceedings of the 31st ACM International Conference on Information & Knowledge Management (pp. 3914–3923).
- Geng, X., Li, Y., Zhang, Y., & Wang, X. (2022). P5: A paradigm for large language model-based recommendation. In Proceedings of the 28th ACM International Conference on Information and Knowledge Management (pp. 2068–2077).
- Li, Y., Geng, X., Zhang, Y., & Wang, X. (2023b). Prompt distillation for large language model-based recommendation. In Proceedings of the 46th International ACM SIGIR Conference on Research & Development in Information Retrieval (pp. 1675–1684).
- Wei, J., Zhou, M., Zhang, S., & Wang, J. (2023). Towards explainable recommendation with large language models. In Proceedings of the 46th International ACM SIGIR Conference on Research & Development in Information Retrieval (pp. 1695–1704).
- Wang, X., Cui, J., Suzuki, Y., & Fukumoto, F. (2024). RDRec: Rationale Distillation for LLM-based Recommendation. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers) (pp. 65–74).