借一步网
作者：
在
在人工智能的莽莽丛林中，大型语言模型（LLM）宛如一群迷途的羔羊，它们拥有惊人的记忆力和语言生成能力，却常常在复杂的推理迷宫中徘徊不前。如何引导这些“羔羊”找到正确的方向，一直是研究者们孜孜以求的目标。本文将聚焦一种名为“双向奖励信号”（Bi-directional Rewarding Signals，BiRM）的创新方法，它借鉴了经典寻路算法A*的智慧，为大模型推理提供了一种全新的过程监督范式，犹如在迷雾中点亮一盏明灯，照亮通往真理的道路。
近年来，大型语言模型在自然语言处理领域取得了长足的进步，它们能够生成流畅的文章、回答复杂的问题，甚至进行简单的编程。然而，当面对需要长链条推理的任务时，例如解决复杂的数学问题，大模型往往显得力不从心。这主要是因为，传统的模型监督方法存在着固有的局限性。
目前主流的模型监督方法是基于过程奖励模型（Process Reward Model，PRM）的单向奖励机制。这种机制就像一位严厉的老师，只关注学生当前步骤是否正确，一旦发现错误就立即给予惩罚。这种“一错就罚”的策略在推理的早期阶段或许有效，能够及时纠正一些明显的错误。但随着推理的深入，PRM的局限性也逐渐暴露出来。
想象一下，一位学生在解一道复杂的几何题，PRM就像一位只盯着他当前画的辅助线是否正确的老师。如果学生一开始画错了一条辅助线，PRM会立即指出错误，这当然是必要的。但如果学生在解题过程中遇到了一些看似错误的步骤，但这些步骤实际上是通往正确答案的必经之路呢？PRM很可能会因为这些“错误”而否定整个解题过程，从而扼杀了学生找到正确答案的可能性。
更糟糕的是，PRM无法预测未来的成功。它只能根据当前已有的信息进行判断，而无法预见到哪些推理路径更有可能最终收敛于正确答案。这就好比一位盲人摸象，只能根据自己摸到的部分来判断整个大象的形状，而无法想象出大象的全貌。
因此，我们需要一种更加智能、更加全面的监督方法，它不仅要关注当前的正确性，还要能够预测未来的成功，就像一位经验丰富的探险家，既要回顾走过的路，也要展望前方的道路。
为了克服单向奖励的局限性，Chen、He、Xi 等研究者从经典的路径搜索算法A中汲取了灵感，提出了BiRM。A算法是一种启发式搜索算法，广泛应用于游戏开发、机器人导航等领域。它的核心思想是在搜索过程中同时考虑两个因素：
A*算法通过将这两个因素结合起来，得到一个综合的评估函数 ，用于指导搜索方向。这个评估函数就像一个指南针，指引着搜索算法朝着最有希望的方向前进。
BiRM借鉴了A*算法的双向评估思想，将传统的PRM奖励视为“历史成本”，并引入一个额外的价值模型（Value Model，VM）来预测“未来可能性”，从而形成双向监督信号：
其中，g(st)g(s_t)g(st) 表示累计奖励，即当前步骤之前所有推理步骤的正确性累积； 则代表从当前步骤出发，到最终正确答案的预测成功概率；而系数 则用于平衡这两个部分的重要性。
这种双向评估方式就像一位经验丰富的老师，他不仅会关注学生当前步骤是否正确，还会根据学生的解题思路和掌握的知识，预测学生最终能否成功解题。如果学生一开始犯了一些小错误，但解题思路是正确的，老师会鼓励学生继续尝试，并给予适当的指导。如果学生一开始的思路就偏离了方向，老师会及时纠正，避免学生浪费时间。
BiRM的引入，为大模型推理带来了一场革命。它不仅是一种技术上的突破，更是一种思维方式的转变。它告诉我们，在解决复杂问题时，既要回顾过去，也要展望未来，只有将两者结合起来，才能找到正确的方向。
BiRM的构建和训练是一个复杂而精细的过程，它需要大量的数据、精巧的模型设计和巧妙的训练策略。下面，我们将深入探讨BiRM的构建和训练过程，揭示其背后的奥秘。
BiRM的核心在于其双向信号机制，它将传统的PRM奖励和价值模型预测的未来成功概率结合起来，形成一个综合的评估函数。这种双向信号机制就像历史与未来的对话，它既回顾过去，又展望未来，从而为大模型推理提供更加全面、更加准确的指导。
传统的PRM通过对每一个推理步骤打分，来衡量整个解题过程的正确性。但它只是依靠“回顾”已发生的部分工作，而无法预测未来的成功。BiRM则在此基础上，额外增加价值模型（VM）的预测功能，实现对从当前状态到结束状态未来成功概率的估计。该模型不仅对当前步骤进行打分，同时也预测下一步可能的解答走向，从而为下一步选择提供更具前瞻性的指导。
这种双向监督机制正如对着迷宫中前进路线既回顾走过的路，也预见前方可能存在的陷阱和光明出口一样，令整个推理过程更加精准和高效。
在训练阶段，BiRM利用大规模数学推理数据集（如MetaMath、GSM8K. ��MATH-500等），构建起丰富的过程监督数据集。对每个问题，首先利用大模型生成多个推理解答（例如15个rollouts），然后借助自动标注工具 Deepseek-V3 对每一步骤的正确性进行二值标注（Reward Label），同时采用Monte Carlo（MC）估计等策略，为每个部分解答生成“未来成功概率”（Value Label）。
整个训练过程分为以下两个部分：
对于每个步骤，模型通过一个线性层预测奖励分值，并采用均方误差（MSE）对比预测分数与真实标签进行回归训练。公式如下：
其中， 是模型预测的奖励分数，而 则是真实的二值标签。这个公式就像一位老师在给学生的作业打分，他会根据学生的答案与标准答案的差距，给出一个相应的分数。
引入VM后，模型同样使用MSE损失来优化对未来成功概率的预测：
这里， 是模型预测的从当前状态到最终正确答案的成功概率，而 是通过诸如Monte Carlo采样或Outcome-supervised方式获得的标签。这个公式就像一位股票分析师在预测股票的未来走势，他会根据当前的股价和市场信息，预测股票未来上涨的可能性。
最终，两部分损失通过一个平衡参数 ccc 叠加得到整体的BiRM训练目标：
这个公式就像一位厨师在烹饪一道菜肴，他会将不同的食材按照一定的比例混合在一起，以达到最佳的口感。
这种联合训练策略确保了模型不仅能准确反映过去的推理效果，同时也能预估未来路径的潜在价值，从而在搜索算法（如Best-of-N采样和Beam Search）中为LLM提供更为有效的引导。
在实际测试阶段，BiRM被用来重新排序大模型生成的一系列候选解答。常见方法有Best-of-N采样和束搜索（Beam Search）：
如同在复杂的迷宫中利用指北针不断调整前进方向，BiRM在数个数学推理任务上已展示出比传统ORM和PRM更为稳定、更高的评分效果。实验数据显示，在 GSM8K. ��MATH-500 和 Gaokao2023 等数据集上，BiRM在不同检索规模下均展现出明显的精度提升。例如，在Qwen2.5-7B模型上，采用Beam Search时的准确率甚至提升了近5个百分点，这充分验证了双向奖励信号在指导解题路径上的实际应用价值。
为了验证BiRM的有效性，研究团队在 GSM8K. ��MATH-500 和 Gaokao2023 这三个数学推理数据集上展开了大量实验，并在基模型 Qwen2.5-3B、Qwen2.5-7B 与 Llama3.1-8B 上分别对比了传统的ORM、PRM以及几种其变体（如Math-Shepherd、ER-PRM）的性能。实验结果显示：
下面的表格直观地展示了BiRM在不同采样规模下的优异表现：
（注：以上数据摘自论文实验结果，表明BiRM在不同规模与基模型下均展现出稳固的性能优势。）
这些实验结果充分证明了BiRM在数学推理任务中的有效性。它不仅能够提高大模型的准确率，还能够解决传统监督方法存在的“Scaling Decline”问题。
从理论和实验两方面来看，BiRM最大的优势在于其双向监督的能力。传统PRM只关注当前已完成步骤的累计奖励，容易在局部表现良好时忽略全局最优化的要求。而引入VM后，模型不仅修正了历史路径评分的不足，同时能推测出由当前步骤延伸而来的多种可能未来，这正是解决“选择最优路径”问题的关键。正如人类解题时既要回顾自己前期思路是否合理，也要大胆预判下一步的走向，BiRM正是将这一直觉算法化，从而在复杂数学题目中给出更为精准的指引。
此外，不同的值标注方法（如Outcome-supervised标注方式与Monte Carlo采样策略）也为BiRM的泛化能力提供了多种选择。在实际实验中，即使采用最简单的Outcome-supervised标注，BiRM依然能够突破传统PRM的局限，这进一步证明了双向思想在提升模型表现上的巨大潜力。
BiRM的出现，为大模型推理领域带来了一股清新的空气。它不仅是一种技术上的创新，更是一种思维方式的转变。它告诉我们，在解决复杂问题时，既要回顾过去，也要展望未来，只有将两者结合起来，才能找到正确的方向。
BiRM的未来充满了无限可能。它可以应用于各种需要长链条推理的任务中，例如程序代码生成、科学论证甚至创意写作等。它还可以与其他技术相结合，例如强化学习、迁移学习等，从而进一步提高大模型的推理能力。
BiRM的出现不仅是一种技术实现上的创新，更在理念上打破了传统推理监督的局限。正如我们在迷宫探险中不仅需要依靠足迹记忆更需依赖路径的前景预测，BiRM通过同时考虑“过去已走过的路”和“未来可能走向的路”，实现了更为全面、鲁棒的路径评估。这一思想既能应用于数学推理，还可以进一步推广到其他领域，如程序代码生成、科学论证甚至创意写作等需要长逻辑推理的任务中，为大模型提供更多可能性。
尽管BiRM在实验中表现优异，但也存在一些不足之处。首先，在测试阶段为了达到最优表现，需要大量计算资源进行候选解答的生成和双向评估，导致计算开销较高；其次，如何在数据模式和基模型类型上实现良好的泛化仍有待深入研究。未来的工作将致力于优化测试阶段的采样策略与搜索算法，同时探讨如何构建更加通用的监督模型，使其能在多样化任务中稳定发挥作用。
未来可进一步探索如何利用BiRM辅助下的高效搜索算法（如改进版的束搜索、蒙特卡罗树搜索等），以大幅降低计算成本，缩短推理响应时间。
如何将BiRM的双向监督思想拓展到其他领域的任务中，诸如编程辅助、知识问答、医学诊断等，也是值得深入探讨的方向。通过多任务训练，期望能够构建出一种通用的推理监督模型。
在大模型不仅生成文字、还能够处理图像、音频等多种信号的今天，如何利用跨模态信息增强推理过程的双向评估，将成为未来的发展趋势。渐进学习的方法也可能为训练监督模型提供新的思路。
在大模型不断向前发展、解决更复杂问题的今天，如何在长推理过程中保持指向正确解的“罗盘”，成为研究者们亟待突破的难关。BiRM通过融合A*算法的精髓，以双向奖励信号重塑了监督模型的评判体系，为解决这一难题提供了一条创新路径。它的实验结果和理论基础都表明，在长推理与复杂任务中，这种双向监督显然比传统的单向奖励更具潜力。我们有理由相信，随着计算资源的不断优化和算法方法的不断精进，未来的智能系统一定会更加精确地“看见”解答之路，为人类社会带来更多意想不到的惊喜。
正如那不断探索迷宫中的每一步，BiRM让我们看到了未来智能推理更宽广的天地，而这种不断探索、不断创新的精神也正是人工智能领域永不停歇的动力源泉。
过程没有结果重要。有时候过程的小瑕疵，比结果错误要好。PRM在这方面要差一些。
要发表评论，您必须先登录。
步子哥の博客
在人工智能的莽莽丛林中，大型语言模型（LLM）宛如一群迷途的羔羊，它们拥有惊人的记忆力和语言生成能力，却常常在复杂的推理迷宫中徘徊不前。如何引导这些“羔羊”找到正确的方向，一直是研究者们孜孜以求的目标。本文将聚焦一种名为“双向奖励信号”（Bi-directional Rewarding Signals，BiRM）的创新方法，它借鉴了经典寻路算法A*的智慧，为大模型推理提供了一种全新的过程监督范式，犹如在迷雾中点亮一盏明灯，照亮通往真理的道路。
近年来，大型语言模型在自然语言处理领域取得了长足的进步，它们能够生成流畅的文章、回答复杂的问题，甚至进行简单的编程。然而，当面对需要长链条推理的任务时，例如解决复杂的数学问题，大模型往往显得力不从心。这主要是因为，传统的模型监督方法存在着固有的局限性。
目前主流的模型监督方法是基于过程奖励模型（Process Reward Model，PRM）的单向奖励机制。这种机制就像一位严厉的老师，只关注学生当前步骤是否正确，一旦发现错误就立即给予惩罚。这种“一错就罚”的策略在推理的早期阶段或许有效，能够及时纠正一些明显的错误。但随着推理的深入，PRM的局限性也逐渐暴露出来。
想象一下，一位学生在解一道复杂的几何题，PRM就像一位只盯着他当前画的辅助线是否正确的老师。如果学生一开始画错了一条辅助线，PRM会立即指出错误，这当然是必要的。但如果学生在解题过程中遇到了一些看似错误的步骤，但这些步骤实际上是通往正确答案的必经之路呢？PRM很可能会因为这些“错误”而否定整个解题过程，从而扼杀了学生找到正确答案的可能性。
更糟糕的是，PRM无法预测未来的成功。它只能根据当前已有的信息进行判断，而无法预见到哪些推理路径更有可能最终收敛于正确答案。这就好比一位盲人摸象，只能根据自己摸到的部分来判断整个大象的形状，而无法想象出大象的全貌。
因此，我们需要一种更加智能、更加全面的监督方法，它不仅要关注当前的正确性，还要能够预测未来的成功，就像一位经验丰富的探险家，既要回顾走过的路，也要展望前方的道路。
为了克服单向奖励的局限性，Chen、He、Xi 等研究者从经典的路径搜索算法A中汲取了灵感，提出了BiRM。A算法是一种启发式搜索算法，广泛应用于游戏开发、机器人导航等领域。它的核心思想是在搜索过程中同时考虑两个因素：
A*算法通过将这两个因素结合起来，得到一个综合的评估函数
，用于指导搜索方向。这个评估函数就像一个指南针，指引着搜索算法朝着最有希望的方向前进。
BiRM借鉴了A*算法的双向评估思想，将传统的PRM奖励视为“历史成本”
，并引入一个额外的价值模型（Value Model，VM）来预测“未来可能性”
，从而形成双向监督信号：
其中，g(st)g(s_t)g(st) 表示累计奖励，即当前步骤之前所有推理步骤的正确性累积；
则代表从当前步骤出发，到最终正确答案的预测成功概率；而系数 
则用于平衡这两个部分的重要性。
这种双向评估方式就像一位经验丰富的老师，他不仅会关注学生当前步骤是否正确，还会根据学生的解题思路和掌握的知识，预测学生最终能否成功解题。如果学生一开始犯了一些小错误，但解题思路是正确的，老师会鼓励学生继续尝试，并给予适当的指导。如果学生一开始的思路就偏离了方向，老师会及时纠正，避免学生浪费时间。
BiRM的引入，为大模型推理带来了一场革命。它不仅是一种技术上的突破，更是一种思维方式的转变。它告诉我们，在解决复杂问题时，既要回顾过去，也要展望未来，只有将两者结合起来，才能找到正确的方向。
BiRM的构建和训练是一个复杂而精细的过程，它需要大量的数据、精巧的模型设计和巧妙的训练策略。下面，我们将深入探讨BiRM的构建和训练过程，揭示其背后的奥秘。
BiRM的核心在于其双向信号机制，它将传统的PRM奖励和价值模型预测的未来成功概率结合起来，形成一个综合的评估函数。这种双向信号机制就像历史与未来的对话，它既回顾过去，又展望未来，从而为大模型推理提供更加全面、更加准确的指导。
传统的PRM通过对每一个推理步骤打分，来衡量整个解题过程的正确性。但它只是依靠“回顾”已发生的部分工作，而无法预测未来的成功。BiRM则在此基础上，额外增加价值模型（VM）的预测功能，实现对从当前状态到结束状态未来成功概率的估计。该模型不仅对当前步骤进行打分，同时也预测下一步可能的解答走向，从而为下一步选择提供更具前瞻性的指导。
这种双向监督机制正如对着迷宫中前进路线既回顾走过的路，也预见前方可能存在的陷阱和光明出口一样，令整个推理过程更加精准和高效。
在训练阶段，BiRM利用大规模数学推理数据集（如MetaMath、GSM8K. ��MATH-500等），构建起丰富的过程监督数据集。对每个问题，首先利用大模型生成多个推理解答（例如15个rollouts），然后借助自动标注工具 Deepseek-V3 对每一步骤的正确性进行二值标注（Reward Label），同时采用Monte Carlo（MC）估计等策略，为每个部分解答生成“未来成功概率”（Value Label）。
整个训练过程分为以下两个部分：
对于每个步骤，模型通过一个线性层预测奖励分值，并采用均方误差（MSE）对比预测分数与真实标签进行回归训练。公式如下：
其中，
是模型预测的奖励分数，而 
则是真实的二值标签。这个公式就像一位老师在给学生的作业打分，他会根据学生的答案与标准答案的差距，给出一个相应的分数。
引入VM后，模型同样使用MSE损失来优化对未来成功概率的预测：
这里，![\hat{M}(\tau_{[1:t]}, q)](https://jieyibu.net/wp-content/ql-cache/quicklatex.com-9b4d48b4236da365d117b7f31d117f07_l3.svg "Rendered by QuickLaTeX.com")
是模型预测的从当前状态到最终正确答案的成功概率，而 
是通过诸如Monte Carlo采样或Outcome-supervised方式获得的标签。这个公式就像一位股票分析师在预测股票的未来走势，他会根据当前的股价和市场信息，预测股票未来上涨的可能性。
最终，两部分损失通过一个平衡参数 ccc 叠加得到整体的BiRM训练目标：
这个公式就像一位厨师在烹饪一道菜肴，他会将不同的食材按照一定的比例混合在一起，以达到最佳的口感。
这种联合训练策略确保了模型不仅能准确反映过去的推理效果，同时也能预估未来路径的潜在价值，从而在搜索算法（如Best-of-N采样和Beam Search）中为LLM提供更为有效的引导。
在实际测试阶段，BiRM被用来重新排序大模型生成的一系列候选解答。常见方法有Best-of-N采样和束搜索（Beam Search）：
如同在复杂的迷宫中利用指北针不断调整前进方向，BiRM在数个数学推理任务上已展示出比传统ORM和PRM更为稳定、更高的评分效果。实验数据显示，在 GSM8K. ��MATH-500 和 Gaokao2023 等数据集上，BiRM在不同检索规模下均展现出明显的精度提升。例如，在Qwen2.5-7B模型上，采用Beam Search时的准确率甚至提升了近5个百分点，这充分验证了双向奖励信号在指导解题路径上的实际应用价值。
为了验证BiRM的有效性，研究团队在 GSM8K. ��MATH-500 和 Gaokao2023 这三个数学推理数据集上展开了大量实验，并在基模型 Qwen2.5-3B、Qwen2.5-7B 与 Llama3.1-8B 上分别对比了传统的ORM、PRM以及几种其变体（如Math-Shepherd、ER-PRM）的性能。实验结果显示：
下面的表格直观地展示了BiRM在不同采样规模下的优异表现：
（注：以上数据摘自论文实验结果，表明BiRM在不同规模与基模型下均展现出稳固的性能优势。）
这些实验结果充分证明了BiRM在数学推理任务中的有效性。它不仅能够提高大模型的准确率，还能够解决传统监督方法存在的“Scaling Decline”问题。
从理论和实验两方面来看，BiRM最大的优势在于其双向监督的能力。传统PRM只关注当前已完成步骤的累计奖励，容易在局部表现良好时忽略全局最优化的要求。而引入VM后，模型不仅修正了历史路径评分的不足，同时能推测出由当前步骤延伸而来的多种可能未来，这正是解决“选择最优路径”问题的关键。正如人类解题时既要回顾自己前期思路是否合理，也要大胆预判下一步的走向，BiRM正是将这一直觉算法化，从而在复杂数学题目中给出更为精准的指引。
此外，不同的值标注方法（如Outcome-supervised标注方式与Monte Carlo采样策略）也为BiRM的泛化能力提供了多种选择。在实际实验中，即使采用最简单的Outcome-supervised标注，BiRM依然能够突破传统PRM的局限，这进一步证明了双向思想在提升模型表现上的巨大潜力。
BiRM的出现，为大模型推理领域带来了一股清新的空气。它不仅是一种技术上的创新，更是一种思维方式的转变。它告诉我们，在解决复杂问题时，既要回顾过去，也要展望未来，只有将两者结合起来，才能找到正确的方向。
BiRM的未来充满了无限可能。它可以应用于各种需要长链条推理的任务中，例如程序代码生成、科学论证甚至创意写作等。它还可以与其他技术相结合，例如强化学习、迁移学习等，从而进一步提高大模型的推理能力。
BiRM的出现不仅是一种技术实现上的创新，更在理念上打破了传统推理监督的局限。正如我们在迷宫探险中不仅需要依靠足迹记忆更需依赖路径的前景预测，BiRM通过同时考虑“过去已走过的路”和“未来可能走向的路”，实现了更为全面、鲁棒的路径评估。这一思想既能应用于数学推理，还可以进一步推广到其他领域，如程序代码生成、科学论证甚至创意写作等需要长逻辑推理的任务中，为大模型提供更多可能性。
尽管BiRM在实验中表现优异，但也存在一些不足之处。首先，在测试阶段为了达到最优表现，需要大量计算资源进行候选解答的生成和双向评估，导致计算开销较高；其次，如何在数据模式和基模型类型上实现良好的泛化仍有待深入研究。未来的工作将致力于优化测试阶段的采样策略与搜索算法，同时探讨如何构建更加通用的监督模型，使其能在多样化任务中稳定发挥作用。
未来可进一步探索如何利用BiRM辅助下的高效搜索算法（如改进版的束搜索、蒙特卡罗树搜索等），以大幅降低计算成本，缩短推理响应时间。
如何将BiRM的双向监督思想拓展到其他领域的任务中，诸如编程辅助、知识问答、医学诊断等，也是值得深入探讨的方向。通过多任务训练，期望能够构建出一种通用的推理监督模型。
在大模型不仅生成文字、还能够处理图像、音频等多种信号的今天，如何利用跨模态信息增强推理过程的双向评估，将成为未来的发展趋势。渐进学习的方法也可能为训练监督模型提供新的思路。
在大模型不断向前发展、解决更复杂问题的今天，如何在长推理过程中保持指向正确解的“罗盘”，成为研究者们亟待突破的难关。BiRM通过融合A*算法的精髓，以双向奖励信号重塑了监督模型的评判体系，为解决这一难题提供了一条创新路径。它的实验结果和理论基础都表明，在长推理与复杂任务中，这种双向监督显然比传统的单向奖励更具潜力。我们有理由相信，随着计算资源的不断优化和算法方法的不断精进，未来的智能系统一定会更加精确地“看见”解答之路，为人类社会带来更多意想不到的惊喜。
正如那不断探索迷宫中的每一步，BiRM让我们看到了未来智能推理更宽广的天地，而这种不断探索、不断创新的精神也正是人工智能领域永不停歇的动力源泉。