不要忘记连接！用基于图的重排序提升RAG的表现 2024-05-29 作者 C3P00 认识一下RAG：文本生成的超级英雄 Retrieval Augmented Generation，简称RAG，是一个能让大型语言模型（LLM）在回答问题时表现更佳的工具。RAG的工作原理是通过从现有文档中检索相关信息来为生成的文本提供背景支持。听起来是不是很厉害？但问题是，如果文档只提供部分信息或者与问题背景的连接不明显，那么RAG该怎么办？这篇文章就来回答这两个核心问题。 G-RAG：图神经网络的魔力 我们介绍一种基于图神经网络（GNN）的方法，叫做G-RAG。这个方法在RAG的检索器和阅读器之间引入了一个重排序器。G-RAG不仅考虑了文档之间的连接，还利用了语义信息（通过抽象意义表示图，AMR）来提供上下文感知的排序器。G-RAG不仅表现优异，还比最先进的方法更省计算资源。 为什么重排序很重要？ 在开放领域问答（ODQA）中，RAG虽然能成功地检索到相关文档，但不能充分利用文档间的连接。这会导致模型忽视那些包含答案但与问题背景连接不明显的文档。通过重排序过程，我们能更有效地过滤检索到的文档，提高阅读过程的效果。 现有方法的不足 目前的重排序器虽然表现不错，但仍有一些问题。首先，大多数现有工作未能捕捉到不同检索文档之间的重要连接。其次，尽管AMR图提高了对复杂语义的理解，但将冗余的AMR信息集成到预训练语言模型中会导致过拟合和计算时间增加。最后，现有方法利用的预训练语言模型在快速发展的LLM时代显得不足。 我们的解决方案 为了应对这些挑战，我们提出了一种基于文档图的方法，每个节点代表一个文档，每条边代表两个文档之间存在共同概念。我们将不同文档之间的连接信息纳入边特征，并通过消息传递机制更新边特征。同时，我们在节点特征中加入了关键的AMR信息，避免了冗余信息的引入。 实验结果 我们在两个代表性的ODQA数据集上进行了实验：自然问题（NQ）和TriviaQA（TQA）。结果显示，基于图的策略（如GCN和G-RAG）在各种评估指标上表现出色。特别是G-RAG-RL模型，通过使用排序损失函数，进一步提升了识别正面文档的能力。 结论与未来展望 我们的G-RAG模型在现有ODQA方法中表现出色，通过利用文档之间的隐性连接和战略性地整合AMR信息，显著提高了识别有价值信息的能力。尽管预训练的LLM在重排序任务中的表现可能不尽如人意，但对其进行微调可能极大地提升RAG系统的表现。未来的研究方向包括设计更复杂的模型来更好地处理AMR信息，以及探索更高级的方法来解决LLM产生的排名分数中的平局问题。 参考文献 Wang, C. , et al. (2023). “Graph as Tokens: Representing Text as Graphs for Neural Network Processing.” Retrieved from ✅https://github.com/wangcunxiang/Graph-aS-Tokens/tree/main BERT: Bidirectional Encoder Representations from Transformers. (2019) Retrieved from https://arxiv.org/abs/1810.04805 AMRBART: AMR Parsing with BART. (2020) Retrieved from https://arxiv.org/abs/2008.02759 PaLM 2: A Next-Generation Language Model. (2022) Retrieved from https://arxiv.org/abs/2204.02311
认识一下RAG：文本生成的超级英雄
Retrieval Augmented Generation，简称RAG，是一个能让大型语言模型（LLM）在回答问题时表现更佳的工具。RAG的工作原理是通过从现有文档中检索相关信息来为生成的文本提供背景支持。听起来是不是很厉害？但问题是，如果文档只提供部分信息或者与问题背景的连接不明显，那么RAG该怎么办？这篇文章就来回答这两个核心问题。
G-RAG：图神经网络的魔力
我们介绍一种基于图神经网络（GNN）的方法，叫做G-RAG。这个方法在RAG的检索器和阅读器之间引入了一个重排序器。G-RAG不仅考虑了文档之间的连接，还利用了语义信息（通过抽象意义表示图，AMR）来提供上下文感知的排序器。G-RAG不仅表现优异，还比最先进的方法更省计算资源。
为什么重排序很重要？
在开放领域问答（ODQA）中，RAG虽然能成功地检索到相关文档，但不能充分利用文档间的连接。这会导致模型忽视那些包含答案但与问题背景连接不明显的文档。通过重排序过程，我们能更有效地过滤检索到的文档，提高阅读过程的效果。
现有方法的不足
目前的重排序器虽然表现不错，但仍有一些问题。首先，大多数现有工作未能捕捉到不同检索文档之间的重要连接。其次，尽管AMR图提高了对复杂语义的理解，但将冗余的AMR信息集成到预训练语言模型中会导致过拟合和计算时间增加。最后，现有方法利用的预训练语言模型在快速发展的LLM时代显得不足。
我们的解决方案
为了应对这些挑战，我们提出了一种基于文档图的方法，每个节点代表一个文档，每条边代表两个文档之间存在共同概念。我们将不同文档之间的连接信息纳入边特征，并通过消息传递机制更新边特征。同时，我们在节点特征中加入了关键的AMR信息，避免了冗余信息的引入。
实验结果
我们在两个代表性的ODQA数据集上进行了实验：自然问题（NQ）和TriviaQA（TQA）。结果显示，基于图的策略（如GCN和G-RAG）在各种评估指标上表现出色。特别是G-RAG-RL模型，通过使用排序损失函数，进一步提升了识别正面文档的能力。
结论与未来展望
我们的G-RAG模型在现有ODQA方法中表现出色，通过利用文档之间的隐性连接和战略性地整合AMR信息，显著提高了识别有价值信息的能力。尽管预训练的LLM在重排序任务中的表现可能不尽如人意，但对其进行微调可能极大地提升RAG系统的表现。未来的研究方向包括设计更复杂的模型来更好地处理AMR信息，以及探索更高级的方法来解决LLM产生的排名分数中的平局问题。
参考文献