「深度是推理的灵魂，但参数未必是。」
在ICLR 2025大会上，一篇由Google Research团队和芝加哥丰田技术研究所的研究者联合发表的论文《Reasoning with Latent Thoughts: On the Power of Looped Transformers》（以下简称「循环Transformer」）引发了学术圈的热烈讨论。这篇论文提出了一个颠覆性的观点：在许多推理任务中，深度比参数更重要，而循环Transformer可以用更少的参数实现更深的推理能力。
如果你对Transformer模型的深度、参数规模以及推理能力之间的关系感兴趣，或者想知道如何用「循环」这种看似简单的操作解决复杂问题，那么这篇文章就是为你准备的。
🌟 核心问题：推理需要深度还是参数？
近年来，大型语言模型（LLMs）在数学、逻辑推理、编程等任务上表现出色，这一切似乎都离不开「参数规模」的爆炸式增长。然而，论文作者却提出了一个令人深思的问题：
「推理问题真的需要更多的参数吗？还是说，我们只是需要更深的模型？」
他们的答案是：深度才是推理的关键，而循环Transformer能够在参数固定的情况下，通过「循环」实现更大的深度，从而高效完成推理任务。
🧠 循环Transformer的核心思想
论文的核心概念是循环Transformer，即通过重复使用同一组参数（「循环」），在模型的深度上实现指数级的扩展。具体来说，一个具有 kkk 层的Transformer模型，通过循环 LLL 次，可以达到等效于 kLkLkL 层的深度，而参数数量却保持不变。
核心主张
- 推理需要深度，但不一定需要更多参数。
- 循环Transformer在许多推理任务中表现出色，甚至可以媲美那些参数规模更大的非循环模型。
- 循环模型对推理任务有天然的偏好。
- 尽管循环模型在语言建模的困惑度（perplexity）上可能不如非循环模型，但在需要推理的下游任务中表现更优。
- 循环Transformer可以模拟「链式推理」（Chain-of-Thought, CoT）。
- 循环模型在每次循环中生成「潜在思维」（latent thoughts），从而实现类似CoT推理的效果。
🔍 实验揭秘：循环模型的推理魔力
为了验证循环Transformer的推理能力，论文作者设计了一系列实验，涵盖了从简单的加法问题到复杂的数学推理任务。
1. n元加法问题
- 任务描述：给定 nnn 个三位数，模型需要计算它们的和。
- 实验结果：
- 一个1层模型循环12次（即 1⊗121 \otimes 121⊗12）的表现，几乎等同于一个12层非循环模型（即 12⊗112 \otimes 112⊗1），但参数量仅为后者的1/12。
- 结论：加法问题主要依赖深度，而非参数数量。
2. p-hop归纳问题
- 任务描述：模型需要在一段序列中进行多步回溯推理（类似于阅读理解中的多层嵌套问题）。
- 实验结果：
- 循环模型（如 1⊗61 \otimes 61⊗6）在准确率上接近甚至超过了深度更大的非循环模型（如 6⊗16 \otimes 16⊗1）。
- 结论：循环机制非常适合这种需要多步推理的任务。
3. i-GSM数学推理问题
- 任务描述：解决复杂的数学依赖图问题（类似于小学数学题，但以符号形式表示）。
- 实验结果：
- 循环模型（如 4⊗64 \otimes 64⊗6）在准确率上与非循环模型（如 24⊗124 \otimes 124⊗1）相当，但参数量仅为后者的1/6。
- 结论：即使是复杂的数学推理问题，循环模型依然能以更少的参数实现高效推理。
🔗 循环与链式推理：潜在思维的秘密
论文进一步揭示了循环Transformer与链式推理（Chain-of-Thought, CoT）之间的深刻联系：
- 链式推理的本质：模型在推理过程中生成多个中间「思维」（thought tokens），逐步接近最终答案。
- 循环模型的优势：相比于每次生成一个思维的链式推理，循环模型可以在每次循环中生成多个「潜在思维」（latent thoughts），从而更高效地完成推理任务。
类比：如果说链式推理是「逐字写日记」，那么循环Transformer就是「用脑内速记法快速整理思路」。
论文通过理论证明，循环Transformer可以通过适当的掩码机制（masking），完全模拟链式推理的过程。这为循环模型在推理任务中的应用提供了强有力的理论支持。
📈 深度的力量：循环模型的推理标尺
论文还揭示了一个有趣的现象：推理任务的表现与模型的「有效深度」呈对数关系。换句话说，增加模型的深度（无论是通过增加层数还是循环次数）都会显著提升推理性能，但收益会逐渐递减。
- 实验发现：
- 在数学推理和开放式问答任务中，循环模型的性能随着循环次数的增加而显著提升。
- 对于某些任务（如简单推理原语），循环模型的深度扩展效果甚至超过了非循环模型。
金句总结：循环模型的推理能力「深」不可测，但参数却「浅」得可爱。
💡 启发与未来：循环模型的潜力
论文最后提出了一些令人兴奋的未来研究方向：
- 推理与记忆的二分法：循环模型在推理任务中表现优异，但在记忆任务（如封闭式问答）中表现稍逊。这种推理与记忆的分野值得进一步探索。
- 循环正则化：论文提出了一种基于循环的正则化方法，通过鼓励模型的层间相似性，进一步提升推理性能。
- 多模态推理：未来可以探索循环模型在多模态推理（如图像与文本结合）中的应用潜力。
- 推理的数学本质：推理问题的形式化定义仍然是一个开放问题。循环模型的成功或许能为这一领域提供新的视角。
🎯 总结：循环，让Transformer更「深」刻
这篇论文为Transformer模型的设计和优化提供了全新的思路：通过循环实现深度扩展，不仅可以显著提升推理能力，还能在参数效率上取得突破。这种方法不仅具有理论上的优雅性，更在实际任务中展现了强大的实用性。
一句话总结：循环Transformer就像是「用一根笔画出无限深的思维迷宫」。
如果你对推理任务的优化感兴趣，或者正在寻找高效的模型设计方案，不妨深入研究这篇论文。循环的力量，或许正是未来Transformer模型推理能力的关键所在。
参考文献
Saunshi, N. , Dikkala, N., Li, Z., Kumar, S., & Reddi, S. J. (2025). ✅Reasoning with Latent Thoughts: On the Power of Looped Transformers. ICLR 2025.