摘要:
最近,基于思想链(CoT)的提示在复杂推理任务中取得了成功,其目标是设计一个简单的提示,如“让我们逐步思考”或多个具有精心设计的理由的上下文示例,以引导大型语言模型(LLM)生成中间推理步骤。然而,生成的理由通常会伴随着错误,导致不真实和不诚实的推理链。为了减轻这种脆弱性,我们提出了一种新颖的基于知识的链式提示(CoK),目标是引导 LLM 生成形式为结构三元组的明确知识证据。这受到了我们人类行为的影响,即在回答复杂问题之前,我们可以在脑海中绘制思维导图或知识图作为推理证据。得益于 CoK,我们进一步引入了一种 F^2 验证方法,以估计推理链在事实性和忠实性方面的可靠性。对于不可靠的回答,可以指出错误的证据以引导 LLM 重新思考。大量实验证明,我们的方法可以进一步提高常识、事实、符号和算术推理任务的性能。
正文:
1. 介绍
- 大型语言模型(LLM)在许多自然语言处理(NLP)任务中取得了最先进的性能。
- 上下文学习(ICL)是一个蓬勃发展的研究课题,旨在通过对少数标记示例进行条件化来生成预测。
- LLM 可以自发地将复杂的多步骤问题分解为中间推理链。
- CoT 提示是一种通过将显式结构知识证据与文本解释相结合来提示 LLM 生成推理链的方法。
- CoK 提示是一种新颖的方法,它通过一系列将显式结构知识证据与文本解释相结合的示例来增强 LLM 的推理能力。
- 对问题的非事实性推理可能导致错误的答案,并且当 LLM 生成逻辑上合理的推理链时,但仍然提供不正确的答案时,响应可能是不忠实的。
- 为了解决这些问题,提出了一种新颖的基于知识的链式(CoK)提示方法来增强 LLM 的推理能力。
- CoK 提示由两部分组成:证据三元组(CoK-ET)和解释提示(CoK-EH)。
- CoK-ET 是一个结构三元组列表,反映了从查询到答案的整体推理证据。
- CoK-EH 是对这些证据的解释。
- 为了构建具有 CoK 提示的上下文示例,我们首先对 K 个标记示例进行采样,每个示例都可以与一个简单的提示“让我们逐步思考”连接起来。
- 然后,我们从外部知识库(KB)中检索一些结构三元组,并通过人工精心注释证据三元组来获得设计良好的 CoK 提示。
- CoK 提示可以被视为一个规则,它规范了输出空间/格式,并敦促 LLM 生成明确的证据,而不是仅仅尝试生成模糊的文本推理链。
2. 相关工作
- 上下文学习(ICL)是一种因果语言建模任务,允许 LLM 通过设计良好的基于文本的提示进行零样本/小样本学习。
- ICL 可以绕过模型参数更新,并通过对少数标记示例进行条件化来实现显着的性能。
- 以前的工作已经探索了一些 ICL 的影响方面,例如输入输出映射、模板格式以及示例的不同选择和排列。
- 为了提高 ICL 的有效性,已经提出了一些新颖的方法,包括元学习、提示和示例工程、通过输入上下文示例获取 LM 偏好、通过自适应机制找到合适的示例组织以及预测校准。
- 与以往的工作不同,我们的工作重点是 LLM 的推理能力,包括推理提示设计和输出验证。
- 提出 CoT 提示是为了利用推理和可解释的信息来指导 LLM 生成可靠的响应。
- 提出了一系列 CoT 增强方法来进一步提高推理能力。
- LLM 推理的知识利用包括利用外部知识和工具来帮助模型完成推理任务。
- 刘等。[2023b] 将计算物理引擎集成到语言建模过程中,以模拟潜在结果,并将它们用作输入的一部分来驱动模型进行推理。
- 变色龙通过结合各种工具和知识资源来增强 LLM。
3. 方法
- 生成的推理链有时会有错误,最终导致得出错误的答案。我们将这种挑战归咎于文本推理链:大型语言模型(LLM)可能会强制生成一种符合 CoT 提示格式的文本理性,但逻辑上模棱两可,导致得出
- 错误的答案。为了应对这种挑战,我们考虑了两个核心方面。
- 提示的生成方式。仅使用文本提示链并不能充分发挥 LLM 生成可靠和具体的推理过程的能力。受到 KB 中三元组结构的影响,我们需要用结构特征增强提示。
- 验证。LLM 通常无法检查它们已回答的答案,这需要我们利用外部知识进行验证。基于这些考虑,我们提供了如何提高 LLM 推理能力的具体解决方案。该框架的概述如图 2 所示。
- 框架说明。推理可以建模为现有知识系统中的归纳和演绎。这是受到人类行为启发的,人们会画思维导图或知识图来分析问题并找到通往答案的正确路径。幸运的是,我们可以采用 KB 中三元的概念,将其视为“主体,关系,对象”,以形式化推理链的明确证据。
- 建议的生成方式。我们首先使用链-of-knowledge(CoK)提示生成示例。然后,可以使用 CoK 提示让 LLM 生成包括证据三元组、解释提示和最终答案的推理链。最后,我们估计推理链在事实性和可靠性方面,不可靠的链将被重新考虑。
- 建议的生成方式。为了便于 LLM 生成文本理性,我们可以采用 KB 中三元组的概念,将其视为“主体,关系,对象”,以形式化推理链的明确证据。CoK-ET 表示从 LLM 中支持逐步思维过程的多个三元组列表。CoK-EH 表示推理链的解释,类似于普通的 CoT。例如,在图 1 中,我们可以要求 LLM 生成两个明确的证据:“德雷克·怀特是一名篮球运动员”和“篮球投篮通常用于曲棍球或网球”以及一个文本解释,以支持最终答案“不”。
- 挑战。构建文本理性,使其结构符合 CoK 三元组,是 CoK 提示生成中的关键挑战。如图 2 所示,我们首先进行示例构建,以获得一个设计良好的任务特定提示。具体而言,我们遵循 Wei 等。[2022,Wang 等。2022c] 的指导,随机选择 K 个问题作为基本示例。要自动获得 CoK-EH,我们遵循 Kojima 等。[2022] 的方法,使用简单的提示“让我们一步一步地思考”生成零样本 CoT 的文本理性。另一个挑战是如何获得更好的表示文本理性。
4. 实验设置
- 实验共选择了五种类型的任务,包括常识和事实推理、算术推理、符号推理等,具体任务和数据集如下:
- 常识和事实推理任务使用了 CommonSenseQA、StrategyQA、OpenBookQA、AI2 Reasoning Challenge (ARC-c)、BoolQ 等数据集,其中使用了 Wikitude 6、ConceptNet、Wikidata5M、ATOMIC、GLUCOSE、ASER、CausalBank 等知识库。
- 算术推理任务使用了 GSM8K、SVAMP 等数据集,其中使用了 AQuA、MultiArith 等算法。
- 符号推理任务使用了 Last Letter Concatenation、Coin Flip 等任务,其中手动构建了每个词的词典知识库。
- 在我们的实验中,首先使用了几手/零手标准提示(SP)作为基线,然后使用了一些 SOTA CoT 方法作为强大的基线,如 Chain-of-thought (CoT)、Zero-shot-CoT 和 Auto-CoT 等。
- 常识和事实推理任务在多个数据集上进行了比较,发现在几手/零手学习场景下,CoK 提示的性能表现良好,可以超过之前 CoT 策略的表现。这表明将显性证据三倍体和解释相结合可以提高 LLM 的推理能力。
5. 结论
- 提出了一种名为 chain-of-knowledge prompting 的方法,旨在将大语言模型的推理链分解成多个证据三元组和解释提示,以进一步提高推理能力。
- 根据 chain-of-knowledge prompt,引入了 F2-Verification,完全利用外部知识库对生成的推理链进行事实性和可靠性后验证。
- 采用重新思考过程,注入知识以纠正虚假证据三元组,并使大语言模型重新生成答案。
- 在多个推理任务上取得了比其他提示方法更好的结果。
- 在未来,计划进一步改进其他规模的大语言模型的性能,将知识库扩展到搜索引擎以实现实时验证,并对大语言模型的推理进行可解释性分析。
- 工作基于对大型语言模型的提示方法,在多个基准测试集上取得了优秀的性能。
- 然而,它仍然具有以下局限性:(1)知识库中的证据三元组是有限的,可能无法确保对模型所有问题的全面覆盖。(2)在重新思考算法的背景下,CoK 可能需要比经典的 CoT 方法更多 API 调用。
- 在社会影响方面,使用的知识库都是来自公共数据来源。
- 将事实知识注入模型推理过程不会引入额外的偏见。
- 它可以在某种程度上防止模型提供不负责且有害的答案。
- 在 12 个公开的可用于推理任务的基准数据集上对 CoK 进行了评估,涵盖了算术推理、常识推理、符号推理和自然语言理解任务。
- 数据集统计信息如表 5 所示,每个数据集的详细信息如下所示。
- CoK 在多个基准测试集上取得了比其他提示方法更好的结果。