借一步网
作者：
在
在人工智能的浩瀚星空中，语言模型的推理能力无疑是最闪耀的星辰之一。然而，如何更高效地训练模型以提升其推理能力，始终是一个未解的谜题。本文将带领读者深入探讨 DeepSeek-R1 的算法设计与实现，揭示其背后精妙的强化学习机制和多阶段训练策略。这不仅是一场技术的盛宴，更是一次科学探索的旅程。
DeepSeek-R1-Zero 是 DeepSeek 团队首次尝试完全依赖强化学习（Reinforcement Learning, RL）训练语言模型的成果。与传统方法不同，它完全跳过了监督微调（Supervised Fine-Tuning, SFT）阶段，直接在基础模型上应用 RL。这种“从零开始”的策略不仅大胆且极具挑战性。
在 DeepSeek-R1-Zero 的训练中，团队采用了一种名为 Group Relative Policy Optimization (GRPO) 的强化学习算法。GRPO 的核心思想是通过组内相对得分优化策略模型，而无需依赖传统的价值函数（critic model）。以下是 GRPO 的具体实现过程：
<think>
<answer>
DeepSeek-R1-Zero 的训练过程展现了模型自我进化的能力。在 AIME 2024 基准测试中，其 Pass@1 准确率从初始的 15.6% 提升至 71.0%，通过多数投票进一步提升至 86.7%，接近 OpenAI-o1-0912 的表现。
更令人惊叹的是，随着训练步数的增加，模型自然学会了延长推理时间，生成更复杂的推理链条。这种行为并非人为设计，而是模型在强化学习环境中自发涌现的能力，堪称人工智能领域的“进化奇迹”。
尽管 DeepSeek-R1-Zero 展现了强大的推理能力，但其输出的可读性和语言一致性仍存在不足。为此，团队设计了 DeepSeek-R1 的多阶段训练管道，通过引入少量冷启动数据和多轮强化学习，进一步提升模型性能。
冷启动阶段的目标是通过少量高质量的长推理链（Chain of Thought, CoT）数据，微调基础模型以稳定初始策略。以下是冷启动数据的构建方法：
|special_token|<reasoning_process>|special_token|<summary>
通过这些方法，团队收集了数千条冷启动数据，为后续的 RL 提供了坚实基础。
在冷启动微调后，DeepSeek-R1 进入了大规模 RL 阶段。此阶段的重点是增强模型的推理能力，尤其是在数学、编程和逻辑推理等任务中。为解决语言混杂问题，团队引入了语言一致性奖励，计算 CoT 中目标语言词汇的比例，并将其与推理任务的准确性奖励相结合。
当 RL 收敛后，团队利用生成的高质量数据进行拒绝采样（Rejection Sampling），构建新的 SFT 数据集。此阶段的数据涵盖了推理和非推理任务，例如写作、问答和角色扮演等。最终，团队使用约 80 万条数据对模型进行两轮微调，进一步提升其通用能力。
在最后一轮 RL 中，团队结合多样化的提示分布和奖励信号，进一步优化模型的有用性和无害性。例如：
为了让更多研究者受益，团队探索了将 DeepSeek-R1 的推理能力蒸馏到小模型中的方法。通过直接微调开源模型（如 Qwen 和 Llama）并使用 DeepSeek-R1 生成的 80 万条数据，团队成功训练了多个小型密集模型。这些模型在多个基准测试中表现优异，例如：
尽管 DeepSeek-R1 在推理任务中表现出色，但仍存在一些局限性：
未来，团队计划通过扩展冷启动数据、改进提示工程和引入异步评估机制，进一步提升模型性能。
DeepSeek-R1 的研究不仅展示了强化学习在推理能力提升中的潜力，更为语言模型的训练提供了全新视角。从 DeepSeek-R1-Zero 的自我进化到 DeepSeek-R1 的多阶段优化，再到小模型的蒸馏，这一系列探索为人工智能的未来发展铺平了道路。我们期待更多研究者加入这一领域，共同推动智能系统的边界。
要发表评论，您必须先登录。
在人工智能的浩瀚星空中，语言模型的推理能力无疑是最闪耀的星辰之一。然而，如何更高效地训练模型以提升其推理能力，始终是一个未解的谜题。本文将带领读者深入探讨 DeepSeek-R1 的算法设计与实现，揭示其背后精妙的强化学习机制和多阶段训练策略。这不仅是一场技术的盛宴，更是一次科学探索的旅程。
🌟 从零开始：DeepSeek-R1-Zero 的强化学习之路
DeepSeek-R1-Zero 是 DeepSeek 团队首次尝试完全依赖强化学习（Reinforcement Learning, RL）训练语言模型的成果。与传统方法不同，它完全跳过了监督微调（Supervised Fine-Tuning, SFT）阶段，直接在基础模型上应用 RL。这种“从零开始”的策略不仅大胆且极具挑战性。
🧩 算法核心：Group Relative Policy Optimization (GRPO)
在 DeepSeek-R1-Zero 的训练中，团队采用了一种名为 Group Relative Policy Optimization (GRPO) 的强化学习算法。GRPO 的核心思想是通过组内相对得分优化策略模型，而无需依赖传统的价值函数（critic model）。以下是 GRPO 的具体实现过程：
对于每个问题 $q$，从旧策略 $\pi_\theta^{\text{old}}$ 中采样一组输出 ${o_1, o_2, \dots, o_G}$。
GRPO 的优化目标如下：
$$J_{\text{GRPO}}(\theta) = \mathbb{E}\left[\frac{1}{G} \sum_{i=1}^G \min\left(\frac{\pi_\theta(o_i|q)}{\pi_\theta^{\text{old}}(o_i|q)} A_i, \text{clip}\left(\frac{\pi_\theta(o_i|q)}{\pi_\theta^{\text{old}}(o_i|q)}, 1-\epsilon, 1+\epsilon\right) A_i\right) – \beta D_{\text{KL}}(\pi_\theta || \pi_{\text{ref}})\right]$$
其中，$A_i$ 是优势函数（advantage function），通过组内得分归一化计算得到：
$$A_i = \frac{r_i – \text{mean}({r_1, r_2, \dots, r_G})}{\text{std}({r_1, r_2, \dots, r_G})}$$
奖励信号由两部分组成：
<think>标签中，答案放置在<answer>标签中。使用 KL 散度正则化项 $D_{\text{KL}}$ 控制新旧策略之间的偏差，确保训练过程稳定。
📈 性能与自我进化
DeepSeek-R1-Zero 的训练过程展现了模型自我进化的能力。在 AIME 2024 基准测试中，其 Pass@1 准确率从初始的 15.6% 提升至 71.0%，通过多数投票进一步提升至 86.7%，接近 OpenAI-o1-0912 的表现。
更令人惊叹的是，随着训练步数的增加，模型自然学会了延长推理时间，生成更复杂的推理链条。这种行为并非人为设计，而是模型在强化学习环境中自发涌现的能力，堪称人工智能领域的“进化奇迹”。
❄️ 冷启动策略：DeepSeek-R1 的多阶段训练
尽管 DeepSeek-R1-Zero 展现了强大的推理能力，但其输出的可读性和语言一致性仍存在不足。为此，团队设计了 DeepSeek-R1 的多阶段训练管道，通过引入少量冷启动数据和多轮强化学习，进一步提升模型性能。
🛠️ 冷启动数据的构建
冷启动阶段的目标是通过少量高质量的长推理链（Chain of Thought, CoT）数据，微调基础模型以稳定初始策略。以下是冷启动数据的构建方法：
|special_token|<reasoning_process>|special_token|<summary>，其中推理过程和总结分别占据不同部分。通过这些方法，团队收集了数千条冷启动数据，为后续的 RL 提供了坚实基础。
🔄 迭代强化学习
在冷启动微调后，DeepSeek-R1 进入了大规模 RL 阶段。此阶段的重点是增强模型的推理能力，尤其是在数学、编程和逻辑推理等任务中。为解决语言混杂问题，团队引入了语言一致性奖励，计算 CoT 中目标语言词汇的比例，并将其与推理任务的准确性奖励相结合。
🧹 拒绝采样与监督微调
当 RL 收敛后，团队利用生成的高质量数据进行拒绝采样（Rejection Sampling），构建新的 SFT 数据集。此阶段的数据涵盖了推理和非推理任务，例如写作、问答和角色扮演等。最终，团队使用约 80 万条数据对模型进行两轮微调，进一步提升其通用能力。
🌍 全场景强化学习
在最后一轮 RL 中，团队结合多样化的提示分布和奖励信号，进一步优化模型的有用性和无害性。例如：
🔬 蒸馏：小模型的大智慧
为了让更多研究者受益，团队探索了将 DeepSeek-R1 的推理能力蒸馏到小模型中的方法。通过直接微调开源模型（如 Qwen 和 Llama）并使用 DeepSeek-R1 生成的 80 万条数据，团队成功训练了多个小型密集模型。这些模型在多个基准测试中表现优异，例如：
🧗 挑战与未来展望
尽管 DeepSeek-R1 在推理任务中表现出色，但仍存在一些局限性：
未来，团队计划通过扩展冷启动数据、改进提示工程和引入异步评估机制，进一步提升模型性能。
🏁 结语
DeepSeek-R1 的研究不仅展示了强化学习在推理能力提升中的潜力，更为语言模型的训练提供了全新视角。从 DeepSeek-R1-Zero 的自我进化到 DeepSeek-R1 的多阶段优化，再到小模型的蒸馏，这一系列探索为人工智能的未来发展铺平了道路。我们期待更多研究者加入这一领域，共同推动智能系统的边界。
📚 参考文献