在人工智能领域，大模型（Large Language Models, LLMs）似乎是王道。参数越多，性能越强，这是我们习以为常的认知。然而，一篇来自上海人工智能实验室和清华大学等机构的论文却提出了一个颠覆性的观点：一个仅有 1B 参数的小模型，竟然可以在某些任务上击败 405B 参数的巨型模型！这听起来像是《大卫与歌利亚》的现代版，但背后的秘密并非神话，而是科学——测试时计算扩展（Test-Time Scaling, TTS）。

本文将带你深入探讨这篇论文的核心发现，了解 TTS 如何让小模型逆袭大模型，以及这项技术对未来 AI 发展的深远意义。

---

🧠 TTS 是什么？大模型的「外挂」

在传统的模型训练和推理中，模型的性能通常由其参数规模和训练质量决定。然而，TTS 提供了一种新的思路：通过在推理阶段增加计算量，优化模型的推理过程，从而提升其性能。

TTS 方法主要分为两类：

1. 内部 TTS（Internal TTS）：让模型「慢慢思考」，通过延长推理链条（如 Chain-of-Thought, CoT）来提高推理能力。
2. 外部 TTS（External TTS）：通过搜索或采样等方法，在固定模型的基础上优化推理结果。

这就像是给模型装上了一个「外挂」，让它在推理时可以更高效地利用计算资源，找到更优的答案。

---

🧩 核心问题：小模型凭什么能赢？

论文聚焦于两个核心问题：

1. 如何为不同的模型和任务设计最佳的 TTS 策略？
2. 在复杂任务中，TTS 能否让小模型超越大模型？

通过对数学推理任务（MATH-500 和 AIME24）的实验，研究团队发现：

• TTS 策略的效果高度依赖于模型类型、奖励模型（Process Reward Models, PRMs）以及任务难度。
• 在最佳 TTS 策略下，小模型不仅可以追平大模型，甚至可以超越它们。例如，一个仅有 1B 参数的模型在 MATH-500 数据集上的表现超过了 405B 参数的模型！

---

🔍 实验与发现：小模型的「大智慧」

🌟 实验设置：挑战极限的数学任务

研究团队选择了两个具有挑战性的数学推理数据集：

1. MATH-500：包含 500 道数学题，涵盖了从简单到复杂的多种问题类型。
2. AIME24：一个更高难度的数学竞赛任务集，专为测试模型的推理极限而设计。

他们使用了不同规模的模型（从 0.5B 到 405B 参数）和多种奖励模型（PRMs），并测试了三种 TTS 方法：

• Best-of-N. ��BoN）✅：生成多个答案，从中选择最佳答案。
• Beam Search：通过束搜索优化推理路径。
• Diverse Verifier Tree Search（DVTS）：在束搜索的基础上增加多样性搜索。

📊 结果分析：小模型如何击败大模型？

1️⃣ 小模型的逆袭

实验表明，在最佳 TTS 策略下，小模型可以显著提升性能。例如：

• 一个 1B 参数的模型在 MATH-500 数据集上的表现超过了 405B 参数的模型。
• 一个 7B 参数的模型在 AIME24 数据集上击败了 GPT-4o 和 DeepSeek-R1 等顶级大模型。

2️⃣ 奖励模型的关键作用

奖励模型（PRMs）在 TTS 中扮演了重要角色。研究发现，不同的 PRMs 对结果的影响显著：

• 奖励感知的 TTS 策略（Reward-Aware TTS）能够更好地适应不同任务和模型。
• 一些 PRMs 对特定模型的泛化能力较弱，容易导致「错误奖励」或「过度批评」。

3️⃣ 任务难度与 TTS 策略的匹配

研究团队还发现，任务的难度影响了最佳 TTS 策略的选择：

• 对于简单任务，Best-of-N 方法表现更优。
• 对于复杂任务，Beam Search 和 DVTS 方法更具优势。

---

🛠️ 背后的科学：为什么 TTS 能让小模型逆袭？

TTS 的核心在于优化推理过程，而非简单依赖模型规模。这种方法的成功可以归因于以下几点：

1️⃣ 计算资源的灵活分配

TTS 通过动态分配计算资源，让模型能够在推理时「多想一步」。这类似于考试时给学生额外的时间，结果自然会更好。

2️⃣ 奖励模型的指导

PRMs 在 TTS 中起到了「裁判」的作用，帮助模型筛选出更优的答案。然而，PRMs 的质量直接影响了 TTS 的效果。研究表明，奖励模型需要足够强大且泛化能力强，才能避免「奖励偏差」。

3️⃣ 任务适配性

TTS 并非「一刀切」的方法。研究团队通过实验发现，不同任务和模型需要不同的 TTS 策略。这种「量体裁衣」的方法是 TTS 成功的关键。

---

🚀 未来展望：TTS 的潜力与挑战

🌍 更广泛的应用

虽然本研究聚焦于数学推理任务，但 TTS 的潜力远不止于此。未来，它可以被应用于代码生成、化学分子设计等更多复杂任务。

🧩 挑战与改进

尽管 TTS 展现了巨大的潜力，但仍存在一些挑战：

• 奖励模型的泛化性：当前的 PRMs 在跨任务和跨模型的泛化能力上仍有不足。
• 计算效率：如何在增加推理性能的同时降低计算成本，是未来研究的重点。

---

📖 结语：小模型的未来

这篇论文的研究表明，小模型并非没有未来。通过 TTS 等技术，我们可以让小模型在特定任务上超越大模型。这不仅为小模型的应用开辟了新道路，也为 AI 的发展提供了新的思路。

正如研究团队所言，TTS 的成功不仅在于提升了模型性能，更在于它重新定义了我们对计算资源和模型规模的理解。未来，我们或许会看到更多「小而美」的模型在 AI 世界中大放异彩。

---

📚 参考文献

1. Liu, R. , Gao, J., Zhao, J., et al. (2025). Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling. arXiv:2502.06703.✅
2. OpenAI (2024). Advancements in Chain-of-Thought Reasoning.
3. Snell, J. , Wu, X., Beeching, E., et al. (2024). Test-Time Scaling Strategies for LLMs.✅
4. Hendrycks, D. , et al. (2021). MATH: A Dataset for Mathematical Reasoning.✅

---

🔍 TTS 与传统方法的对比：PRMs 的引入如何改变游戏规则？

在这篇论文中，测试时计算扩展（Test-Time Scaling, TTS）和奖励模型（Process Reward Models, PRMs）成为提升小模型性能的核心技术。为了更好地理解它们的优势，我们需要将这些方法与传统的推理和优化策略进行对比，探讨它们在原理、实现和效果上的异同点，以及为何能取得更好的效果。

---

🌟 传统方法 vs. TTS：推理方式的根本性转变

1️⃣ 传统方法：固定推理路径

传统的大模型推理方法通常依赖以下两种策略：

• 直接生成（Direct Generation）：模型根据输入直接生成答案，推理路径固定，缺乏灵活性。
• 链式思维（Chain-of-Thought, CoT）：通过引导模型逐步分解问题，生成更长的推理路径。这种方法在复杂推理任务中表现较好，但仍然依赖模型本身的能力，无法动态调整推理过程。

局限性：

• 计算资源利用率低：传统方法在推理时的计算量是固定的，无法根据问题难度动态分配资源。
• 对模型规模依赖强：性能提升主要依赖于增加模型参数，而不是优化推理过程。

---

2️⃣ TTS 方法：灵活的推理优化

TTS 的核心在于通过动态调整推理过程中的计算资源分配，提升模型性能。论文中提出的 TTS 方法包括：

• Best-of-N. ��BoN）✅：生成多个候选答案，通过评分选择最佳答案。
• Beam Search：在每一步生成多个候选路径，选择最优路径继续推理。
• Diverse Verifier Tree Search（DVTS）：在 Beam Search 的基础上增加多样性，探索更多可能的推理路径。

优势：

• 动态计算分配：TTS 可以根据问题的复杂性调整计算量，难题多花时间，简单问题快速解决。
• 增强推理能力：通过多路径搜索和验证，TTS 能够找到更优的答案，即使模型本身能力有限。
• 小模型的逆袭：TTS 让小模型也能在复杂任务中表现出色，甚至超越大模型。

---

🧠 PRMs 的引入：推理质量的「裁判」

1️⃣ 传统方法中的评分机制

在传统方法中，生成答案后通常依赖简单的评分机制，如：

• 多数投票（Majority Voting）：通过生成多个答案，选择出现频率最高的答案。
• 直接评分：使用固定规则或简单的验证器对答案进行评分。

局限性：

• 评分机制单一：传统方法的评分机制往往过于简单，无法准确捕捉答案的质量。
• 缺乏过程监督：传统方法更关注最终答案，而忽略了推理过程中的错误。

---

2️⃣ PRMs 的创新：过程监督的引入

PRMs 的核心在于对推理过程进行监督，而不仅仅是对最终答案评分。它们通过学习推理过程中的奖励信号，帮助模型在每一步选择更优的路径。

PRMs 的特点：

• 过程奖励（Process Rewards）：PRMs 不仅评估最终答案，还对每一步推理过程进行评分，确保推理路径的合理性。
• 泛化能力：PRMs 可以跨模型和任务使用，提供更通用的评分机制。
• 动态调整：PRMs 能够根据问题的复杂性动态调整推理路径，避免陷入局部最优。

PRMs 的作用：

• 优化推理路径：通过对每一步的评分，PRMs 能够引导模型选择更优的推理路径，提升推理效率。
• 减少错误传播：传统方法中，推理过程中的错误会累积到最终答案，而 PRMs 能够在过程中纠正错误，避免错误传播。

---

⚖️ TTS + PRMs vs. 传统方法：效果为何更好？

1️⃣ 动态性与灵活性

TTS 方法通过动态分配计算资源，能够更好地适应不同任务的需求。例如，在简单任务中，TTS 可以快速生成答案，而在复杂任务中，TTS 可以通过多路径搜索找到更优解。这种灵活性是传统方法无法实现的。

2️⃣ 过程监督的引入

PRMs 的引入是一个革命性的变化。相比传统方法仅关注最终答案，PRMs 能够对整个推理过程进行监督，从而提升推理路径的质量。这种「过程奖励」机制让模型能够更智能地分配计算资源，避免无效计算。

3️⃣ 小模型的潜力释放

传统方法中，小模型的性能受限于其参数规模，难以在复杂任务中与大模型竞争。而 TTS + PRMs 的组合通过优化推理过程，释放了小模型的潜力，使其在某些任务中甚至能够超越大模型。

4️⃣ 计算效率的提升

论文中指出，TTS 方法在提升性能的同时，还能显著降低总计算量。例如，一个 1B 参数的小模型通过 TTS 可以达到 405B 参数大模型的性能，但其计算成本仅为后者的 1/100 到 1/1000。这种效率提升对于实际应用具有重要意义。

---

🛠️ 总结：TTS + PRMs 的颠覆性意义

TTS 和 PRMs 的结合不仅是一种技术创新，更是一种思维方式的转变。它们让我们重新审视了模型规模与性能之间的关系，证明了小模型也可以在复杂任务中表现出色。

异同点总结

维度	传统方法	TTS + PRMs
推理方式	固定推理路径，依赖模型能力	动态调整推理路径，优化计算资源
评分机制	简单投票或规则评分	引入过程奖励，监督推理过程
计算资源利用	固定计算量，效率低	动态分配计算资源，效率高
模型依赖性	性能随模型规模线性增长	小模型通过优化推理过程超越大模型
适应性	难以适应不同任务	根据任务难度调整推理策略

---

为何效果更好？

1. 动态性：TTS 方法让模型能够灵活适应不同任务需求，避免计算资源浪费。
2. 过程监督：PRMs 的引入确保了推理路径的质量，减少了错误传播。
3. 效率与性能兼得：TTS + PRMs 的组合不仅提升了性能，还显著降低了计算成本。
4. 释放小模型潜力：通过优化推理过程，小模型能够在复杂任务中与大模型一较高下。

TTS 和 PRMs 的成功表明，AI 的未来不仅仅是「更大」，而是「更智能」。这为小模型的应用开辟了新天地，也为 AI 的发展提供了新的方向。