从显式思考链到隐式思考链：逐步学习内化思考步骤

在人工智能的发展历程中，语言模型已经成为了不可或缺的一部分，尤其是在处理复杂推理任务时。传统的方法中，模型在给出最终答案前，会生成一系列显式的思考步骤，这一过程被称为“思考链”（Chain-of-Thought, CoT）。然而，这种显式的思考过程不仅计算量大，而且速度慢。那么，有没有可能让模型学会在不显式表达这些步骤的情况下，内部完成这些逻辑推理呢？

最近，一篇由Yuntian Deng、Yejin Choi和Stuart Shieber共同完成的研究论文提出了一种名为“逐步内化”（Stepwise Internalization）的方法，旨在训练模型逐步内化这些思考链步骤，从而简化推理过程，同时保持高性能。这一研究不仅开辟了新的思路，也为未来AI的发展提供了可能的方向。

显式思考链的挑战与局限

在处理复杂的推理任务时，如多位数乘法或者数学文字题，模型通常需要生成一系列逻辑步骤来逐步接近最终答案。这种方法虽然能够提高答案的准确性，但它需要大量的计算资源，特别是当推理链较长时。此外，这种显式的中间步骤生成方式并不符合语言模型的内在计算优势。

内化思考链的潜力

Deng等人的研究提出，通过训练模型逐渐去除中间的思考步骤，并对模型进行微调，可以使模型学会内部处理这些逻辑步骤。这种方法开始于一个已经训练好进行显式思考链推理的模型，通过逐步移除中间步骤，并对模型进行微调，最终实现完全的隐式思考链推理。

“逐步内化”方法的实现

研究中提出的“逐步内化”方法是通过多阶段训练来实现的。在每一个阶段，模型被训练来预测越来越少的思考链令牌（token），直至完全不需要它们。这一过程不仅提高了模型的推理速度，还维持了较高的准确率。例如，在处理9x9的乘法问题时，使用“逐步内化”方法的GPT-2小模型能够达到99%的准确率，而标准训练方法甚至无法处理超过4x4的乘法问题。

实验结果与未来应用

该研究的实验结果表明，通过“逐步内化”方法训练的模型在多个较大的语言模型上也显示出了良好的效果，如Mistral 7B模型在GSM8K数据集上的表现超过了50%的准确率，且不需要生成任何中间步骤，这一表现优于直接生成答案的GPT-4模型。

这项研究不仅展示了通过内化思考链来提高语言模型处理复杂推理任务的潜力，还为未来在更广泛的任务和多样化的思考链跟踪上探索其有效性提供了基础。随着计算资源的进一步发展和优化，我们有理由相信，内化思考链的方法将在未来的人工智能应用中扮演越来越重要的角色。

From Explicit CoT to Implicit CoT: Learning to Internalize CoT Step by Step

https://papers.cool/arxiv/2405.14838

Authors: Yuntian Deng ; Yejin Choi ; Stuart Shieber

Summary: When leveraging language models for reasoning tasks, generating explicit chain-of-thought (CoT) steps often proves essential for achieving high accuracy in final outputs. In this paper, we investigate if models can be taught to internalize these CoT steps. To this end, we propose a simple yet effective method for internalizing CoT steps: starting with a model trained for explicit CoT reasoning, we gradually remove the intermediate steps and finetune the model. This process allows the model to internalize the intermediate reasoning steps, thus simplifying the reasoning process while maintaining high performance. Our approach enables a GPT-2 Small model to solve 9-by-9 multiplication with up to 99% accuracy, whereas standard training cannot solve beyond 4-by-4 multiplication. Furthermore, our method proves effective on larger language models, such as Mistral 7B, achieving over 50% accuracy on GSM8K without producing any intermediate steps.

Q: 这篇论文试图解决什么问题？

A: 这篇论文探讨了如何让语言模型（LMs）在执行复杂推理任务时，能够内化推理过程中的显式链式思考（Chain-of-Thought, CoT）步骤。具体来说，论文提出了一种名为“逐步内化”（Stepwise Internalization）的方法，旨在通过逐步移除推理过程中的中间步骤并微调模型，使模型能够将这些中间推理步骤内化到其隐藏状态中。这样做的目的是简化推理过程，同时保持高性能，从而解决显式链式思考在计算成本和与语言模型内在计算优势不匹配的问题。

具体来说，论文的主要贡献包括：

提出了一种简单的方法——逐步内化（Stepwise Internalization），用于隐式链式思考推理。
展示了通过逐步内化方法内化中间隐藏状态的有效性。
提供了实证结果，证明了使用逐步内化训练的模型在不同推理任务和模型规模上具有优越的性能。

这种方法旨在替代传统的显式CoT方法，通过简化推理步骤，提高推理速度，同时保持或提高推理的准确性。论文通过在多位数乘法和小学数学问题等推理任务上的实验，展示了逐步内化方法的有效性。

Q: 有哪些相关研究？

A: 论文中提到了与逐步内化（Stepwise Internalization）方法相关的一些研究工作，具体包括：

No CoT方法：这些研究关注于训练语言模型解决算术任务而不输出中间步骤。例如，MathGLM [20] 展示了通过大量训练数据，包括不同位数的算术任务示例，即使是具有2亿参数的语言模型（LM）也能解决多位数的算术任务而不使用任何中间步骤。
ICoT-KD（Implicit CoT via Knowledge Distillation）：由Deng等人 [6] 提出，该方法允许在训练期间使用CoT，但在生成期间不使用，并通过对显式CoT推理的教师模型进行知识蒸馏来实现隐式CoT推理。
Context Distillation [18]：该方法训练模型在有或没有草稿纸的情况下产生相同的输出。逐步内化的每一阶段可以看作是一种上下文蒸馏，其中一个CoT标记被蒸馏到模型的内部状态中。
Searchformer [12]：该方法首先训练一个变换器来模仿A*搜索，然后通过采样更短的搜索轨迹来微调它。这使得模型可以使用比训练期间提供的更少的步骤执行搜索。
使用填充标记（Filler Tokens）：Pfau等人 [15] 展示了使用填充标记作为CoT标记的替代方法，可以提高语言模型的表达能力。
其他相关工作：包括对Transformer语言模型在组合性方面的限制的研究 [7]，以及关于训练动态的潜在状态模型 [9]。

这些相关工作为逐步内化方法提供了背景和对比，展示了在不输出中间步骤的情况下如何提高语言模型的推理能力，以及如何通过不同的技术和方法来实现这一目标。逐步内化方法与这些相关工作相比，提供了一种更简单且更有效的方式来实现隐式链式思考推理。

Q: 论文如何解决这个问题？

A: 论文通过提出一种名为**逐步内化（Stepwise Internalization）**的方法来解决如何让语言模型内化推理过程中的显式链式思考（CoT）步骤的问题。具体解决步骤如下：

起始阶段：首先使用一个已经训练好用于显式CoT推理的模型。这意味着模型已经能够生成一系列中间推理步骤，并最终得出答案。
逐步移除中间步骤：从显式CoT推理开始，逐步移除推理过程中的中间步骤。这是通过在训练过程中逐渐减少输出的CoT标记数量来实现的。
微调模型：每当移除一部分中间步骤后，就对模型进行微调，以适应新的设置。这个过程迫使模型将被移除的推理步骤内化到其隐藏状态中。
优化技术：为了应对训练过程中的不稳定性，论文引入了两种技术：
- 重置优化器：每当移除一个CoT标记后，重置优化器的状态，以避免由于损失函数突变导致的优化器状态问题。
- 移除平滑（Removal Smoothing）：在移除CoT标记的数量上添加一个小的随机偏移量，使得模型以小概率在某一步骤中移除多于计划的标记数量，这有助于平滑过渡到下一阶段的训练。
最终目标：通过这个过程，最终实现一个模型，它能够在不产生任何显式中间步骤的情况下，直接从输入预测到最终输出，即实现了隐式的CoT推理。
评估与比较：论文通过在多位数乘法和小学数学问题等推理任务上的实验，展示了逐步内化方法的有效性，并与现有的No CoT、Explicit CoT和ICoT-KD等方法进行了比较。

通过这种方法，论文成功地展示了如何训练一个模型，使其在不依赖显式中间步骤的情况下，依然能够保持高准确率地解决复杂推理任务。此外，这种方法还提供了在推理速度和准确性之间进行权衡的可能性，使其在需要高性能和低延迟的应用场景中具有潜在价值。

Q: 论文做了哪些实验？

A: 论文中进行了以下实验来评估逐步内化（Stepwise Internalization, ICoT-SI）方法的有效性：

多位数乘法任务：评估了ICoT-SI方法在处理4×4、5×5、7×7和9×9乘法问题上的性能。这些任务是从BIG-bench [3]中选取的，并扩展到了更大的乘法问题。
小学数学问题：使用了GSM8K数据集 [5] 来评估ICoT-SI方法在解决小学数学问题上的效果。这个数据集包含了小学水平的数学文字问题。
基线比较：将ICoT-SI方法与其他几个基线进行了比较，包括没有使用链式思考（No CoT）的模型、显式链式思考（Explicit CoT）的模型，以及通过知识蒸馏实现隐式链式思考（ICoT-KD）的方法。
不同模型规模：为了验证ICoT-SI方法的通用性和有效性，论文还在不同规模的预训练模型上进行了实验，包括GPT-2 [16]、Phi-3 3.8B [1]和Mistral-7B [10]。
推理速度与准确性的权衡：ICoT-SI方法允许通过内化不同数量的CoT标记来权衡推理速度和准确性。论文展示了在11×11乘法任务中，随着更多CoT标记被内化，准确性和速度之间的权衡。
消融研究：进行了消融实验来分析ICoT-SI方法中不同组件的影响，包括移除平滑（Removal Smoothing）、优化器重置（Optimizer Reset）、移除方向（Removal Side）和每个时期移除的标记数量（Number of tokens removed per epoch）。
训练动态的稳定性：论文还探讨了使用较大∆值时训练动态的不稳定性问题，并展示了在不同随机种子下的训练结果。

这些实验结果表明，ICoT-SI方法在多位数乘法和小学数学问题上都取得了显著的性能提升，并且在不牺牲准确性的情况下显著提高了推理速度。此外，消融研究进一步证实了ICoT-SI方法中各个组件的重要性。

Q: 有什么可以进一步探索的点？

A: 论文在最后部分提出了一些未来工作的方向，可以进一步探索的点包括：

内部过程探测：随着模型逐步内化每个推理步骤，探测模型的内部过程可能有助于洞察学习机制。
混合模式方法开发：结合隐式和显式链式思考推理的方法可能会提供两者的优势，平衡准确性、延迟和可解释性，以满足用户偏好。
扩展到更大模型和更广泛的训练/预训练设置：将逐步内化扩展到更大的模型和更广泛的训练或预训练设置中，可能会进一步提高其在更广泛推理任务中的有效性。
训练成本：论文指出，逐步内化方法由于需要在移除每组CoT标记时进行微调，因此训练成本较高。未来的工作可以探索降低训练成本的方法。
训练不稳定性：论文中提到，使用较大的∆值可能会导致训练过程中的不稳定性。未来的研究可以致力于识别和解决这些不稳定动态，例如通过早期重启训练。
模型可解释性：使用逐步内化方法训练的模型会丢失可解释的中间步骤。未来的工作可以探索如何使用探测技术来解释这些模型的内部隐藏状态，或者如何结合隐式和显式CoT训练以提供在可解释性和延迟之间的灵活性。
推理准确性：尽管显式CoT在准确性上仍然优于逐步内化方法，但逐步内化方法提供了在延迟和准确性之间进行权衡的可能性。未来的研究可以探索如何进一步提高隐式CoT方法的准确性。
更广泛的任务和数据集：论文中的实验主要集中在特定的推理任务上。未来的工作可以探索逐步内化方法在更广泛的任务和数据集上的效用。
优化技术：论文中提到了一些优化技术，如移除平滑和优化器重置，这些技术有助于稳定训练。未来的研究可以探索更多的优化技术，以进一步提高训练过程的稳定性和效率。
模型架构的改进：研究是否可以通过对模型架构的改进来增强模型内化CoT步骤的能力，例如通过调整模型的深度或宽度。

这些探索点都旨在提高逐步内化方法的性能，降低其成本，增强其稳定性，并扩大其应用范围。

Q: 总结一下论文的主要内容

A: 这篇论文提出了一种名为**逐步内化（Stepwise Internalization）**的新方法，旨在改善语言模型在执行复杂推理任务时的表现。以下是论文的主要内容总结：

问题背景：在复杂推理任务中，生成显式的链式思考（CoT）步骤对于获得高精度的最终输出至关重要。然而，显式推理过程可能计算成本高昂，并且可能不符合语言模型的内在计算优势。
研究目标：探索模型是否可以内化CoT步骤，即在不生成显式中间步骤的情况下，通过模型的隐藏状态进行推理。
逐步内化方法：提出了一种逐步内化CoT步骤的方法，从训练显式CoT推理的模型开始，逐步移除中间步骤并微调模型，迫使模型内化推理过程。
实验设计：在多位数乘法和小学数学问题等推理任务上进行了实验，使用了GPT-2 Small、Phi-3 3.8B和Mistral 7B等不同规模的模型。
实验结果：
- GPT-2 Small模型通过逐步内化能够解决9×9乘法问题，准确度高达99%，而标准训练无法解决超过4×4的乘法。
- 在GSM8K数据集上，Mistral 7B模型实现了超过50%的准确度，且没有产生任何中间步骤，优于未采用CoT推理的GPT-4模型。
方法优势：与显式CoT方法相比，逐步内化在保持类似准确度的同时，推理速度提高了11倍。
分析：
- 探讨了准确性与速度之间的权衡，表明逐步内化可以根据特定应用的需求，在两者之间进行优化。
- 进行了消融研究，分析了移除平滑、优化器重置等技术对训练稳定性的影响。
相关工作：与No CoT方法、ICoT-KD、Context Distillation和Searchformer等相关工作进行了对比。
局限性：讨论了训练成本、训练不稳定性、模型可解释性和推理准确性等方面的局限性。
未来工作：提出了进一步探索的潜在方向，如内部过程探测、混合模式方法开发、扩展到更大模型和更广泛的训练设置等。
结论：逐步内化是一种有效的隐式CoT推理方法，提供了准确性和速度之间的良好权衡，适用于需要高性能和低延迟的任务。

论文通过提出和验证逐步内化方法，为提高语言模型在复杂推理任务中的表现提供了一种新的途径，并展示了其在多个任务和模型规模上的成功应用。

从显式思考链到隐式思考链：逐步学习内化思考步骤

在学习和思考的过程中，我们通常会经历从显式思考链到隐式思考链的转变。这个过程可以帮助我们逐步学习和内化思考步骤，从而提高我们的思维能力和解决问题的效率。

显式思考链：

显式思考链是指我们在思考和解决问题时，通过明确的步骤和推理过程来达到最终答案的方法。这种思考链通常需要我们有意识地思考每个步骤，并将它们逐步连接起来。
通过特定提示或训练，我们可以让语言模型在给出最终答案之前，先产生一连串的推理步骤，这种方法被称为链式思考推理[1]。
显式思考链的优点是它与人类解题方式相似，但它可能没有充分发挥出语言模型的计算能力。

隐式思考链：

隐式思考链是指通过语言模型内部的隐藏状态进行推理的一种思考方式。与显式思考链不同，隐式思考链不需要逐步阐述每个中间步骤，而是通过模型不同层级的隐藏状态进行推理[1]。
在隐式思考链中，我们可以利用知识蒸馏技术，通过训练一个模拟器来预测教师模型在推理过程中产生的隐藏状态。然后，在推断阶段，我们可以利用这个预测的状态序列来帮助学生模型直接产出最终答案[1]。
隐式思考链的优点是它能够解决那些没有显式思维链条无法解决的问题，并且在速度上与直接给出答案而不进行任何推理的速度相当[1]。

通过逐步学习和内化思考步骤，我们可以从显式思考链过渡到隐式思考链，从而提高我们的思维能力和解决问题的效率。隐式思考链的方法可以通过知识蒸馏实现，通过训练一个模拟器来预测教师模型的隐藏状态，并将这些预测状态应用于学生模型的推理过程中[1]。

Learn more:

在研究中，通过知识蒸馏实现的隐式思维链推理是一种不同于传统的推理方式。它不是直接输出每个推理步骤，而是通过语言模型内部的隐藏状态进行隐式推理[1]。下面是一个隐式思考链在解决问题时的例子：

假设我们有一个语言模型，需要解决一个数学问题：计算两个多位数的乘积。传统的方法是通过链式思考推理，模型会被训练或引导去详细阐述解决问题的中间步骤，然后给出最终答案。但是，通过隐式思维链推理的方法，模型不再需要逐步阐释每一个中间环节来得出解答。

在隐式思维链推理中，我们首先训练一个教师模型，该模型接受过显式思维链推理的训练。然后，我们提取教师模型在推理过程中产生的跨 transformer 层的内部状态。接下来，我们使用知识蒸馏技术，训练一个能够预测教师隐藏状态的模拟器。这个模拟器可以直接跨越多个处理层次，无需再走教师推理的每一步。最后，我们将这个模拟器与能够根据这个模拟过程给出最终答案的学生模型结合在一起。通过对整个系统进行端到端的优化，让学生模型能够发展出与教师不同的推理方式。

通过这种隐式思维链推理的方法，我们可以解决那些没有显式思维链条就无法解决的问题，并且其速度与直接给出答案而不进行任何推理的速度相当[1]。

Learn more: