在数字时代的浪潮中，大型语言模型（LLMs）如同一群智慧的探险家，试图在复杂的推理迷宫中寻找正确的答案。它们通过一步步推理，生成详尽的「思考轨迹」，最终给出一个看似权威的最终答案。然而，这个最终答案真的就是模型的最佳结论吗？在一篇引人入胜的研究中，来自沙特国王科技大学（KAUST）的学者们揭示了一个惊人的事实：答案的真相往往隐藏在推理的中间步骤中，而不仅仅是那最后一步的果实。这篇文章将带你走进这场推理的冒险，探索如何通过剖析模型的「子思维」来挖掘更可靠的答案，同时以通俗易懂的方式揭示科学背后的趣味与深度。
🌟 推理的迷宫：从直觉到深思熟虑
想象你正在解一道数学题，比如计算一个长12米、宽8米的矩形花园的面积。你的第一反应可能是：面积等于长乘宽，12 × 8 = 96平方米。简单明了，对吧？但如果你开始怀疑自己的计算，可能会重新检查，甚至得出一个错误的结论，比如「12 × 8 = 50」。大型语言模型的推理过程与此类似。它们并非直接吐出答案，而是像一位谨慎的数学家，生成一串「思考轨迹」，一步步推导，最终呈现一个答案。然而，研究者发现，这个最终答案（$A_{\text{last}}$）并不总是模型的最佳表现。
这项研究的核心在于挑战传统评估方法。传统上，我们只关注模型生成的完整推理轨迹的最后一个答案，判断其正确与否。但研究者提出：如果我们停下来，检查模型在推理过程中的每一个「子思维」阶段，会不会发现更有价值的信息？他们将这些中间步骤称为「子思维」（subthoughts），并设计了一种方法，通过分析这些子思维生成的答案分布，找到更可靠的结论。
🧠 子思维的解剖：推理中的隐藏线索
子思维是什么？它们就像推理过程中的一个个路标，标记着模型思考的转折点。研究者通过识别语言中的特定标志词（如「等等」「换个角度」「好吧」）将推理轨迹分割成若干子思维片段。这些标志词通常意味着模型在反思、修正或转向新的推理路径。例如，在计算矩形面积的例子中，模型可能在「让我再检查一下」之后，重新审视计算过程。
研究的方法可以用以下步骤概括：
- 生成初始推理轨迹：让模型以贪婪解码（greedy decoding）的方式生成完整的推理轨迹，记为 $R_{\text{full}}$，从中提取推理内容 $T$ 和最终答案 $A_{\text{last}}$。
- 分割子思维：根据预定义的子思维转换标志词（如「然后」「因此」），将推理轨迹 $T$ 分割成一系列子思维 $s_1, s_2, \ldots, s_n$，使得 $T = s_1 \oplus s_2 \oplus \cdots \oplus s_n$，其中 $\oplus$ 表示字符串拼接。
- 生成子思维续写：对于每个子思维边界 $i$，构造累积的部分推理轨迹 $T_i = s_1 \oplus s_2 \oplus \cdots \oplus s_i$，并提示模型从 $T_i$ 继续推理，生成完整的响应 $R_i = P_i \oplus C_i$。
- 提取答案：从每个响应 $R_i$ 中提取最终答案 $A_i$，形成答案集合 $\mathcal{A} = {A_1, A_2, \ldots, A_n}$。
- 分析与聚合：分析答案集合 $\mathcal{A}$ 的分布特性，并通过选择最频繁的答案（众数，$A_{\text{mode}}$）作为最终答案，比较其准确性与 $A_{\text{last}}$。
这一过程就像在推理的河流中设置多个检查站，观察模型在不同阶段的「思想流向」。研究者发现，通过聚合这些子思维生成的答案，模型的准确性往往显著提高。
📊 答案的分布：从混乱到秩序
为了直观展示子思维分析的效果，研究者在论文中提供了一个简单的例子（见下图），并通过实验验证了其普遍性。
在图1的例子中，模型在计算矩形面积时，最初正确推导出 $12 \times 8 = 96$，但在最后一步错误地得出 $50$。通过分析子思维生成的答案，研究者发现大多数子思维续写都指向 $96$，因此众数 $A_{\text{mode}} = 96$ 纠正了最终答案的错误。
研究者进一步通过熵（entropy）分析答案分布的稳定性。熵越高，答案分布越分散，表明模型的推理不稳定；熵越低，答案趋于一致，表明推理可靠。实验显示，正确答案的熵显著低于错误答案，暗示熵可作为模型自信度和正确性的指标。
🔍 实验的探照灯：照亮推理的真相
研究者在两个具有挑战性的数学推理数据集——AIME2024 和 AIME2025 上进行了广泛实验，测试了七个开源模型，包括 DeepSeek-R1、Light-R1-7B-DS 等。实验结果令人振奋：
- 准确性提升：通过取子思维答案的众数（$A_{\text{mode}}$），准确性相比仅使用最终答案（$A_{\text{last}}$）提高了高达13%（AIME2024）和10%（AIME2025）。例如，Light-R1-7B-DS 在 AIME2024 上非贪婪续写时，准确性提升了13.33%。
- 一致性模式：正确解答的问题通常表现出高度一致的答案序列，熵较低；而错误解答的问题则答案波动大，熵较高。
- 贪婪 vs 非贪婪：非贪婪续写（温度=1.0，top-p=0.95）通常比贪婪续写（温度=0.0，top-p=1.0）带来更大的提升，可能是因为非贪婪方法探索了更多可能的推理路径。
🚀 从单一答案到群体智慧
这项研究的意义不仅在于提高了准确性，更在于揭示了推理过程的复杂性。传统方法将最终答案视为模型的「终极智慧」，但研究表明，模型的推理轨迹就像一棵枝繁叶茂的大树，每一个子思维都是一个分支，可能通向不同的结论。通过聚合这些分支的答案，我们仿佛在模型的「群体智慧」中寻找共识。这种方法类似于人类在解决复杂问题时的头脑风暴：多角度思考，综合判断，最终得出更可靠的结论。
研究者还探讨了答案分布的熵作为错误检测的潜在工具。想象一下，如果你在解题时发现自己的答案在不同尝试中变化无常，你可能会怀疑自己的思路出了问题。同样，模型答案的高熵可能提示其推理不稳定，值得进一步审查。
🌈 推理的未来：超越最终答案
这项研究为我们打开了一扇窗，让我们窥见大型语言模型推理的内在动态。它不仅提供了一种实用的方法来提升模型性能，还为未来的研究指明了方向。例如，可以将子思维分析与强化学习结合，训练模型在推理过程中更早地收敛到正确答案；或者利用熵指标开发实时错误检测工具，提升模型的可靠性。
更重要的是，这项研究提醒我们：人工智能的推理过程并非黑箱，而是充满了可挖掘的宝藏。通过细致分析模型的「思考轨迹」，我们可以更好地理解其能力与局限性，从而设计出更智能、更可靠的系统。
🎉 结语：答案之外的风景
在推理的迷宫中，最终答案只是一个终点，而真正的风景藏在通往终点的每一步。KAUST的研究者们通过子思维分析，为我们揭示了大型语言模型推理的丰富内涵。他们的方法不仅提升了模型的准确性，还让我们看到了一种新的评估范式：从单一答案到多维洞察，从结果导向到过程挖掘。这或许正是人工智能研究的魅力所在——每一次探索，都可能带来意想不到的发现。
参考文献
- Hammoud, H. A. A. K., Itani, H., & Ghanem, B. (2025). Beyond the Last Answer: Your Reasoning Trace Uncovers More than You Think. ✅arXiv preprint arXiv:2504.20708v1.
- Wei, J. , Wang, X., Schuurmans, D., Bosma, M., Xia, F., Chi, E., Le, Q. V., Zhou, D., et al. (2022). Chain-of-thought prompting elicits reasoning in large language models. ✅NeurIPS, 35, 24824–24837.
- Wang, X. , Wei, J., Schuurmans, D., Le, Q. V., Chi, E. H., Narang, S., Chowdhery, A., & Zhou, D. (2023). Self-consistency improves chain of thought reasoning in language models. ✅ICLR.
- Kahneman, D. (2011). ✅Thinking, fast and slow. Macmillan.
- Guo, D. , Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., et al. (2025). Deepseek-r1: Incentivizing reasoning capability in llms via reinforcement learning. ✅arXiv preprint arXiv:2501.12948.