问答系统中的检索复杂度：解码复杂问题的奥秘

在信息爆炸的时代，问答系统（QA）成为了我们获取知识的重要工具。其中，基于检索的问答系统凭借其从外部资源中获取信息的能力，成为了主流方案。然而，当面对需要多步推理或整合多方面信息才能回答的复杂问题时，这些系统就显得力不从心了。

如何判断一个问题是否复杂？ 现有研究大多关注问题本身的结构，例如多跳问题（需要多步推理才能找到答案）或组合型问题（答案需要整合多个信息片段）。然而，这些指标并不能完全反映一个问题在检索问答系统中的实际难度。

检索复杂度：衡量问答系统难度的全新视角

本文介绍了一种名为检索复杂度（RC） 的全新指标，用于衡量问答系统在回答特定问题时的难度。RC 考虑了 检索结果的完整性，即检索到的文档是否包含足够的信息来回答问题。

直观理解： 假设我们想问“狮子比老虎大吗？”，这个问题虽然结构简单，但答案可能只需要从一个描述狮子和老虎大小的文档中找到。而另一个问题“狮子比冰箱大吗？”，则需要整合多个信息片段才能得出答案，因为很少有文档会同时描述狮子和冰箱的大小。

Reference-based Question Complexity Pipeline (RRCP)：揭示检索复杂度

为了量化检索复杂度，研究者们设计了一个名为 RRCP 的无监督管道。它包含三个关键部分：

1. 检索系统： 使用先进的检索技术，根据问题从多个索引中获取相关文档。
2. GenEval： 一种基于参考的自动评估系统，通过比较检索到的文档和参考答案，评估问题的难度。
3. 约束机制： 通过两个阈值来判断问题是否满足“可回答性”和“检索集完整性”的约束。

GenEval：精准评估答案正确性

GenEval 是一种基于编码器-解码器结构的模型，经过训练可以判断检索到的文档是否包含问题的正确答案。与其他评估方法相比，GenEval 具有以下优势：

• 基于更强大的编码器-解码器模型，可以更灵活地学习和预测。
• 训练数据更丰富，包括真实参考数据集和合成数据，可以更好地处理各种情况。

两个约束：揭示复杂问题的本质

RRCP 通过两个约束来判断问题的复杂程度：

1. 可回答性： 评估是否可以通过单个检索到的文档来回答问题。
2. 检索集完整性： 评估检索到的文档是否包含回答问题所需的所有信息。

实验验证：RRCP 的优越性

研究者们在多个问答数据集上对 RRCP 进行了评估，结果表明：

• RRCP 在识别复杂问题方面表现出色，优于其他基于语言模型的无监督方法。
• 检索复杂度与问答系统的性能密切相关，复杂度高的问题通常更难回答。
• RRCP 可以识别多种类型的复杂问题，包括多跳问题、比较问题、时间问题、最高级问题和聚合问题。

未来的方向：突破局限，开拓应用

尽管 RRCP 取得了显著成果，但也存在一些局限性，例如对参考答案的依赖和对检索系统质量的敏感性。未来，研究者们将致力于：

• 减少对参考答案的依赖，探索基于语言模型的无监督评估方法。
• 提升检索系统的质量，以提高 RRCP 的准确性。

检索复杂度：问答系统发展的新起点

检索复杂度的概念为我们理解问答系统的难度提供了新的视角。通过识别复杂问题，我们可以更好地优化问答系统，提升其在处理复杂问题时的性能。未来，随着技术的不断发展，检索复杂度将成为问答系统发展的新起点，推动问答系统向着更智能、更精准的方向发展。

参考文献：

• Gabburo, Matteo, et al. “Measuring Retrieval Complexity in Question Answering Systems.” arXiv preprint arXiv:2406.03592 (2024).