DeepSeek-AI. (2025). DeepSeek-R1: A Giant Leap in Long Chain-of-Thought Reasoning.
Qwen. (2025). Qwen2.5 Series Models: Towards Efficient Instruction Following.
Wei, J. , et al. (2022). On the Importance of Long Chain-of-Thought in Mathematical Reasoning.
Luo, et al. (2025). Stable Evaluation Protocols for Long COT Models.
Chen, et al. (2024). NCA Loss in Preference-based Optimization for AI Models.
在这段充满挑战与智慧的征程中，Light-R1 系列不仅证明了在规模受限的条件下，也能炼就长链思维模型的强大实力；更展示了循序渐进的训练方法和强化学习技术的巨大潜力。我们相信，随着更多开源数据、公开代码及持续的社区交流，未来的 AI 模型将在更多应用场景中展现出令人瞩目的光芒，开启人类与智能共舞的新纪元。
步子哥の博客
科技的发展宛如一场华丽的冒险，而在这场冒险中，长链条思维（Long Chain-of-Thought, COT）正以其独特的魅力吸引着无数科研工作者的目光。本篇文章将带您走进 Light-R1 系列模型的内部世界，探秘其如何从一张纯净的白纸开始，经过精心设计的数据准备、循序渐进的课程训练、以及别具匠心的强化学习（Reinforcement Learning, RL）优化，最终炼就兼具高效性和稳定性的长链思维模型。我们将用轻松幽默的语言、形象生动的比喻和详实的数据，为您一一呈现这段充满智慧和突破的科研之旅！
在 AI 领域，模型的规模与推理能力常常呈正比，然而现实中训练多百亿参数的大模型需要极高成本，不少科研工作者只能望洋兴叹。过去，DeepSeek-R1 等超大规模模型（如 671B 参数）在数学推理、逻辑演绎等领域已取得骄人成绩，但由于计算资源过于昂贵，边缘设备或实时应用根本无法承受。正是在这种背景下，Light-R1 系列应运而生，它的宗旨是：如何在仅有几十亿参数的条件下训练出具有长链条思维能力的高性能模型？
Light-R1 系列的主要目标可归纳为三个方面：
这一探索过程不仅挑战了模型训练的极限，更对长链思维模型在资源受限环境下的应用前景产生了深远影响。
优秀模型的背后离不开“优质燃料”。在 Light-R1 的训练过程中，研究团队从各大开源数据集（例如 GAIR/LIMO、nvidia/OpenMathInstruct-2、OpenR1-Math-220k、OpenThoughts-114k 等）中收集了约 100 万条数学题作为初始种子。这些数据涵盖了数学推理、逻辑演绎和算法问题，犹如五颜六色的宝石，各自闪烁着智慧的光芒。
为了确保数据的多样性与代表性，团队采用了内部定制的标签系统，对问题进行归类和下采样，使得某些过于集中的数据类别不会成为训练过程中的“独行侠”。在采集过程中，所有题目会被筛选出仅保留带有真实答案的部分，确保整个数据集不仅丰富而且“干净”。
数据的“去污”环节同样至关重要。考虑到可能存在的预训练数据重复性问题，团队通过“精确匹配”和“N-gram (N=32)”匹配的方法，与测试集（包括 AIME24、AIME25、MATH-500 和 GPQA）的题目进行对比，成功剔除了那些因数字微调或局部重复导致的污染数据。比如，在表 3 中，我们可以看到各数据集在 AIME 系列和其他基准数据集（如 MATH-500、GPQA、Diamond）中的匹配情况，证明了数据清洗的彻底性与准确性。
当干净的数据集形成后，核心工作便展开在了如何生成能够激发模型长链思维的答案上。传统的短链回答往往难以支撑复杂逻辑推导。为此，团队采用了一种两阶段的难度过滤策略。起初借助 DeepScaleR-1.5B-Preview 模型对每一道题目进行初步评估，仅保留通过率低于某个阈值的问题；接着，再调动更强的 DeepSeek-R1 模型进行验证，从而构造出一个超过 7 万条题目的 SFT 数据集。与此同时，一小部分（约 3K 条）的高难度题目通过二次筛选浮现出来，成为后续 SFT 第二阶段训练的“核心精华”。
传统的一步到位训练往往难以应对复杂逻辑问题。但 Light-R1 的创新在于其“课程训练”策略。就像大学教授循序渐进地引导学生攻克难题，Light-R1 系列也遵循了从基础到高级、步步为营的训练方式。
在首个阶段，研究者利用大约 76K 条过滤后的数学题数据，针对模型进行初步的监督微调（Supervised Fine-Tuning, SFT）。此时的模型虽已具备一定的数学推理能力，但由于缺乏长链思维的训练，仍表现得较为青涩。表 4 中显示，经过 SFT 阶段 1 后，AIME24 分数从基模型的 16.6 提升到了 69.0，而 AIME25 分数也有了显著提升，说明初步训练已经打开了模型长链推理的大门。
随着训练的深入，团队发现仅靠初期的 SFT 数据已难以让模型充分掌握更高难度的问题——大约 20% 的训练样本在初次训练后依然表现不佳。为此，他们又精心挑选了难度更高、质量更优的 3K 数据作为 SFT 阶段 2 的输入。令人惊喜的是，这 3K 数据不仅在模型训练上起到了“催化剂”的作用，更对其他通过 DeepSeek-R1-Distill 训练的模型展示了普遍性的性能提升。例如，经过这样精炼训练的 Light-R1-7B-DS 模型，便实现了比 DeepSeek-R1-Distill-Qwen-7B 更高的分数。
在两段 SFT 课程之后，为了更进一步精炼模型对长链思维的把控能力，团队引入了偏好优化技术——DPO。通过构建正负样本对，利用半在线策略与 NCA 损失函数（NCA loss）来优化模型，DPO 阶段让模型能更准确分辨出哪一个答案更优。具体来说，团队从 SFT 阶段 2 模型中挑选出那些答案过长、过短或者看似正确实则错误的回答作为“反面教材”，与来自 DeepSeek-R1 的正确回答进行对照，最终让模型在真实效果评测中以更高分数亮相。经过 DPO 优化后，Light-R1-32B 模型的 AIME24 与 AIME25 分数分别达到了 76.6 和 64.6，明显优于先前版本。
一个有趣的发现是，通过高质量数据和精细训练，不同参数规模的模型也能取得出色表现。以 Light-R1-32B 为例，其训练过程不仅大幅超越了初始的 Qwen2.5-32B-Instruct 模型，更在数学推理分数上遥遥领先于 DeepSeek-R1-Distill-Qwen-32B. ��而在参数更小的版本上：
下表（表 5）展示了训练前后不同模型在各项指标上的变化，一目了然地呈现了数据精炼与训练策略对模型性能的巨大改善：
这些数据不仅证明了课程训练与偏好优化的有效性，更向我们展示了在有限资源下实现高性能长链思维模型的可能性。
当模型在 SFT 以及 DPO 阶段取得了令人瞩目的进步后，研究团队并未止步于此。为了进一步突破长链决策能力和数学推理瓶颈，他们引入了强化学习（RL）技术，选择了 GRPO 算法作为优化核心，并结合了离线数据筛选和在线 RL 相结合的“双管齐下”策略。
离线阶段中，为了保证训练过程中的数据质量，团队首先利用 Light-R1-7B-DS 模型对 RL 训练提示进行采样，只保留那些答案通过率既非 0 也非 1 且处于一定范围内的提示。这一步骤犹如在大海中捞出最闪亮的珍珠，为在线训练做足准备。
随后，在线 RL 阶段则采用了 GRPO 算法，这一技术能够在优化过程中同时提升模型的回答长度和奖励分数，而不会出现典型“先短后长”后突然崩盘的问题。图 2 中展示了 RL 训练的曲线：随着训练步数的增加，平均奖励和回答长度均稳步上升，显示出训练过程中模型的逐步成熟与持续改进。
以下为 RL 训练过程中的一些关键数据概览：
这些数据不仅证明了 GRPO 算法在长链推理中的应用可行性，也为未来在小模型上进一步应用 RL 提供了宝贵的经验。
为使 RL 训练更加稳定，团队引入了一系列辅助技术：
在这种多重优化措施下，Light-R1-14B-DS 模型最终在数学推理（AIME24 分数达到 74.0；AIME25 达 60.2）上获得了领先地位，甚至可以与部分 32B 模型相抗衡，这对于一个 14B 模型而言，无疑是巨大的突破。
在整个训练流程中，数据的重要性始终贯穿始终。正如俗话所说：“工欲善其事，必先利其器。”
在 Light-R1 的训练中，3K 高难度数据不仅仅是训练“催化剂”，更是一剂强心针，为多种模型提升提供了普适性的助推力。实验表明，仅使用这 3K 数据进行 SFT 阶段 2 的微调，就能显著超越那些已有 800K 数据支撑的模型，证明数据质量的重要性远超数据量的简单堆积。
这其中的秘诀在于：
这一系列方法无疑为未来在其他领域（例如科学问题、编程任务）中的应用提供了范例，证明在数据精制与课程设计上只要精耕细作，就能在资源受限条件下走出一条高效提升之路。
在当今移动终端、物联网设备和各种边缘设备盛行的时代，如何在极度受限的计算资源下实现高水准的推理能力成为当务之急。Light-R1 系列正是朝这一方向迈出了坚实的一步。通过在 32B. ��14B、7B 等不同规模模型上取得的突破，该系列模型不仅在数学推理上表现优异，更展示了在资源约束环境下达成高性能长链思维推理的可能性。
这种突破不仅体现在技术层面，更在实际应用上具有深远意义。举例来说，在实时决策系统、智能机器人或嵌入式设备中，传统大模型难以部署，而经过 Light-R1 方法训练的模型由于参数规模较小，其部署成本和能耗大大降低。与此同时，得益于课程训练和 RL 优化的综合改造，它们依然保持了深厚的推理能力和逻辑深度，为各类边缘应用注入智能活力。
回顾 Light-R1 系列的整个研发历程，我们不难发现，其成功在于对训练过程每一步骤的精益求精与创新探索。从数据收集、清洗、生成，到循序渐进的 SFT 训练、偏好优化，再到强化学习的引入，每一个环节都充分展示了科研工作者对算法、数据和工程实践的深刻洞察与不断追求卓越的精神。
这一系列工作不仅为长链思维模型的训练提供了全新的思路和方法论，更为未来在边缘计算、高效推理及智能化应用上带来了无限可能。正如 Light-R1-14B-DS 在 RL 阶段展现出的那样，随着模型训练不断深入，回答长度与奖励双双攀升，这不仅是技术指标数值上的提升，更是整个 AI 研究领域对智慧链条构建的一次全新诠释。
未来，我们期待更多的研究者在 Light-R1 的基础上，探索更多具有通用性和跨领域适用性的改进方法。无论是数学推理、逻辑演绎，还是更广泛的科学问题求解，我们都有理由相信，依托高质量数据和创新训练策略的模型，将成为我们开启智能新时代的闪耀火种。
参考文献
在这段充满挑战与智慧的征程中，Light-R1 系列不仅证明了在规模受限的条件下，也能炼就长链思维模型的强大实力；更展示了循序渐进的训练方法和强化学习技术的巨大潜力。我们相信，随着更多开源数据、公开代码及持续的社区交流，未来的 AI 模型将在更多应用场景中展现出令人瞩目的光芒，开启人类与智能共舞的新纪元。