🌍 信任的知识图谱推理：一种关注不确定性的视角

在这个信息爆炸的时代，知识图谱（Knowledge Graphs, KGs）与大型语言模型（Large Language Models, LLMs）的结合如同一种新鲜的调味品，为我们的智能应用增添了风味。然而，这道佳肴的烹饪过程并非一帆风顺，尤其在高风险应用场景中，如何有效地量化不确定性，成为了提升模型可靠性的关键。

🧠 大型语言模型的“幻觉”

大型语言模型在问答任务中展现出了惊人的表现，犹如一位语言的魔法师，能够理解复杂的语言模式并生成连贯的回答。然而，这些模型的“幻觉”现象频繁出现，尤其是在面对领域特定或复杂问题时，常常让人哭笑不得。例如，当我们向模型提出一个看似简单的问题时，它可能会生成完全不相干的答案，如同在找寻一颗珍珠，却在沙滩上捡到了一块石头。

graph TD;
    A[用户提问] --> B[模型生成答案]
    B --> C{答案是否可靠?}
    C -->|是| D[输出答案]
    C -->|否| E[量化不确定性]
    E --> F[生成多个候选答案]
    F --> G{选择最佳答案}
    G -->|选择| H[输出最终答案]
    G -->|不选择| I[继续调整候选答案]

如图1所示，传统的模型在输出答案时往往缺乏对答案可靠性的量化。我们的目标是通过引入不确定性量化，提升模型在面对复杂问题时的表现。

🛠️ 可靠的知识图谱-大型语言模型框架

为了填补现有框架的不足，我们提出了一种新的信任知识图谱推理框架——不确定性感知知识图谱推理框架（UAG）。这个框架不仅整合了知识图谱与语言模型的优势，还引入了不确定性量化的机制，确保在高风险场景下的可靠性。

不确定性量化的核心机制

UAG框架的设计灵感来源于“可控的预测”（Conformal Prediction, CP）方法。CP通过在验证集上进行校准，生成具有理论保证的预测集。这一过程如同为模型的“思维”加上一道保护罩，让它在面对未知时不至于“失控”。在UAG中，我们将这一理论框架扩展到了知识图谱问答（KGQA）任务中，确保生成的答案不仅是合理的，还具备一定的置信度。

🔍 多步推理与错误率控制

UAG框架包含多个步骤，其中一个重要的组件是错误率控制模块。它通过调整各个组件的错误率，确保最终的预测结果满足预定义的置信水平。这个过程就像是一位优秀的指挥家，确保每个乐器在合奏时都能发挥出最佳效果。

graph TD;
    A[用户查询] --> B[候选实体检索器];
    B --> C[候选评估器];
    C --> D[全局错误率控制器];
    D --> E[最终答案集];

图2展示了UAG的整体结构。每个模块在不确定性量化的指导下，有条不紊地工作，最终为用户提供一个可靠的答案集。

📊 实验与结果

我们在两个广泛使用的多跳知识图谱问答数据集上进行了实验，结果表明UAG在满足不确定性约束的同时，能够有效缩小预测集的规模。具体而言，UAG相比于基线方法，预测集的大小平均减少了40%。

如表1所示，UAG在有效覆盖率（ECR）和预测集大小上均优于传统方法，表明其在不确定性量化方面的强大能力。

🤔 结论与展望

通过引入不确定性量化机制，UAG为知识图谱问答任务提供了一个新的视角，极大地提升了模型的可靠性。未来，我们将继续探索如何将这一框架扩展到开放域问答任务中，以应对更复杂的场景。

📚 参考文献

1. Huang, Y. , & Chang, Y. (2022). Large Language Models in Question Answering Tasks.✅
2. Angelopoulos, A. , & Bates, S. (2021). Conformal Prediction for Uncertainty Quantification.✅
3. Luo, R. , et al. (2024). Knowledge Graph Question Answering with Large Language Models.✅
4. Su, Y. , et al. (2024). Logit-free Conformal Prediction for LLMs.✅
5. Quach, T. , et al. (2023). Risk Control Framework in Language Models.✅