在人工智能的快速发展中，如何提升大型语言模型（LLMs）的推理能力一直是研究者们关注的焦点。随着推理能力的提升，LLMs在复杂任务中的表现也愈加出色。然而，关于这些先进模型的训练细节却常常被掩盖，使得研究者们在复现这些结果时面临重重困难。在这篇文章中，我们将探讨一种新的开源强化学习系统——DAPO（Decoupled Clip and Dynamic sAmpling Policy Optimization），它不仅提升了LLMs的推理能力，还为未来的研究提供了宝贵的资源。
🌟 引言：推理能力的革命
随着OpenAI和DeepSeek等公司的研究成果的发布，测试时间扩展（test-time scaling）为大型语言模型带来了前所未有的推理能力。这种能力使得模型在数学和编程等复杂任务中表现优异。然而，现有的文献中往往缺乏关键的训练细节，这使得研究者们在复现这些成果时遇到困难。为了解决这一问题，DAPO算法应运而生。
🧩 DAPO算法的核心技术
DAPO算法的成功依赖于四项关键技术：
- Clip-Higher：这一策略旨在提升系统的多样性，避免熵崩溃现象。通过调整重要性采样的剪切范围，Clip-Higher能够有效促进低概率令牌的探索，从而增强模型的多样性。
- 动态采样：在训练过程中，动态采样策略能够提高训练效率和稳定性。通过过滤掉准确率为1或0的样本，确保每个批次中都包含有效的梯度信号，从而提升模型的学习能力。
- 令牌级策略梯度损失：在长链推理（long-CoT）场景中，令牌级损失计算能够更有效地捕捉到长样本中的推理模式，避免短样本对整体损失的影响。
- 超长奖励塑形：通过对超长样本的奖励进行合理塑形，避免了因截断样本而引入的奖励噪声，从而稳定了训练过程。
📈 实验结果：超越现有成果
在AIME 2024的实验中，DAPO算法在Qwen2.5-32B模型上达到了50分的成绩，超越了DeepSeek-R1-Zero-Qwen-32B模型的47分，并且仅使用了50%的训练步骤。这一成果不仅展示了DAPO算法的有效性，也为大规模LLM的强化学习提供了新的方向。
表 1：DAPO与其他模型的对比结果
| 模型 | AIME24 avg@32 |
|---|---|
| DeepSeek-R1-Zero-Qwen-32B | 47 |
| Naive GRPO | 30 |
| + 超长过滤 | 36 |
| + Clip-Higher | 38 |
| + 软超长惩罚 | 41 |
| + 令牌级损失 | 42 |
| + 动态采样（DAPO） | 50 |
🔍 训练动态：探索与反思
在大规模语言模型的强化学习中，训练动态的监控至关重要。我们发现生成响应的长度、奖励的动态变化以及模型的熵都是影响训练稳定性和性能的重要指标。通过对这些指标的监控，我们能够及时识别潜在的问题，并对训练过程进行调整。
例如，生成响应的长度与模型的推理能力密切相关。随着训练的进行，模型逐渐展现出反思和回溯的能力，这一现象为我们提供了关于模型学习机制的新见解。
🧠 结论：开源的未来
通过开源DAPO算法及其训练代码和数据集，我们为研究社区提供了一个可重复的、行业级的强化学习解决方案。这一开源系统不仅提升了LLMs的推理能力，也为未来的研究奠定了基础。我们期待更多的研究者能够利用这一资源，推动大规模强化学习的发展。
📚 参考文献
- OpenAI. (2023). Large Language Models are Few-Shot Learners.
- DeepSeek. (2023). Technical Report on Reinforcement Learning in LLMs.
- Schulman, J. , et al. (2017). Proximal Policy Optimization Algorithms.✅
- Van Hasselt, H. , et al. (2016). Deep Reinforcement Learning with Double Q-learning.✅
- Kingma, D. P., & Ba, J. (2015). Adam: A Method for Stochastic Optimization.✅