抽象神经网络结构示意图

Qwen3 GSPO 与 DeepSeek-R1 GRPO
算法深度对比分析

探索大型语言模型强化学习算法的创新突破与性能差异

GSPO

序列级别优化

训练效率 +40%
MoE支持 优秀

GRPO

组内相对优化

内存占用 -40%
实现复杂度 较低

关键性能指标

2.3×
训练速度提升
71.2%
AIME准确率
81.5
AIME25分数

核心发现

GSPO (Group Sequence Policy Optimization) 和 GRPO (Group Relative Policy Optimization) 是两种用于大型语言模型强化学习的算法。GSPO 的核心创新在于将优化粒度从 token 级别提升至序列级别，从而在训练稳定性、效率和最终模型性能方面展现出显著优势，尤其适用于混合专家（MoE）模型和长序列生成任务。相比之下，GRPO 通过组内相对奖励来估计优势函数，避免了独立价值网络的需求，降低了计算开销，但在训练稳定性和处理复杂任务方面可能面临挑战。

算法原理与设计

1.1 GSPO 核心原理

Group Sequence Policy Optimization (GSPO) 是一种专为训练大规模语言模型 (LLM) 而设计的强化学习算法，其核心创新在于将优化和评估的粒度从传统的 token 级别提升至整个序列（sequence）级别[1] [2]。

核心创新点

  • 序列级别重要性采样：基于整个序列的似然度定义重要性比例[3] [4]
  • 稳定性提升：避免了 token 级别概率波动的累积放大[5]
  • MoE 友好：天然适应混合专家模型的动态路由特性[6]

数学原理

序列重要性比率：

s_i(θ) = (π_θ(y_i|x) / π_θ_old(y_i|x))^(1/|y_i|)

梯度计算形式：

∇θ ∝ s_sequence_{低方差} * Σ ∇log π_token_{整体梯度}

[7]

GSPO 算法流程

flowchart TD A["采样生成一组回答"] --> B["计算序列级重要性权重"] B --> C["序列级别奖励计算"] C --> D["序列级别标准化"] D --> E["序列级别裁剪"] E --> F["梯度更新优化"] B1["新旧策略下整个序列生成概率比值"] --> B C1["整个序列的质量评估"] --> C E1["限制策略更新幅度"] --> E style A fill:#f3f4f6,stroke:#374151,stroke-width:2px,color:#1f2937 style B fill:#e5e7eb,stroke:#374151,stroke-width:2px,color:#1f2937 style C fill:#e5e7eb,stroke:#374151,stroke-width:2px,color:#1f2937 style D fill:#e5e7eb,stroke:#374151,stroke-width:2px,color:#1f2937 style E fill:#e5e7eb,stroke:#374151,stroke-width:2px,color:#1f2937 style F fill:#f97316,stroke:#ea580c,stroke-width:3px,color:#ffffff style B1 fill:#f9fafb,stroke:#6b7280,stroke-width:1px,color:#374151 style C1 fill:#f9fafb,stroke:#6b7280,stroke-width:1px,color:#374151 style E1 fill:#f9fafb,stroke:#6b7280,stroke-width:1px,color:#374151

1.2 GRPO 核心原理

Group Relative Policy Optimization (GRPO) 是一种旨在改进传统强化学习算法（如 PPO）在大语言模型训练中不足的算法，由 DeepSeek 团队提出[8] [9]。

核心优势

  • 无价值网络：通过组内相对奖励估计优势函数[10] [11]
  • 资源高效：显存占用降低 40% 以上
  • 数学推理优化：在数学竞赛任务中表现突出[13]

相对优势计算

Â_i = (r(x, y_i) - μ) / σ

其中 μ 和 σ 分别是组内奖励的均值和标准差[12] [16]

GRPO 将标准化后的奖励分配给序列中的每个 token，作为 token 级别的优势估计值。

1.3 重要性采样机制对比

特性 GSPO (序列级别) GRPO (Token级别)
采样级别 序列级别 (Sequence-level)[1] [19] Token 级别 (Token-level)[1] [20]
重要性比率 基于整个序列的似然度，并进行长度归一化：
s_i(θ) = (π_θ(y_i|x)/π_θ_old(y_i|x))^(1/|y_i|) [19] 		基于每个 token 的似然度：
w_{i,t}(θ) = π_θ(y_{i,t}|x, y_{i,<t})/π_θ_old(y_{i,t}|x, y_{i,<t}) [21]
理论依据 与重要采样的基本原理一致，认为奖励和优化的颗粒度应与实际评判标准（整个序列）一致[19] [20] 在 token 级别进行离策略校正，但可能因与序列级别奖励不匹配而引入噪声[19]
方差控制 通过序列级别采样和长度归一化有效降低方差，提高训练稳定性[19] [20] Token 级别方差易累积，尤其在长序列和 MoE 模型中，可能导致训练不稳定[20] [19]
裁剪机制 在序列级别对重要性比率 s_i(θ) 进行裁剪[19] 在 token 级别对重要性比率 w_{i,t}(θ) 进行裁剪[22]

性能表现与效果

2.1 训练效率与稳定性分析

GSPO 训练优势

训练稳定性显著提升：有效避免梯度爆炸和模型崩溃[5] [18]
训练效率提升 2 倍以上：在 Qwen3-30B MoE 模型中验证[6]
收敛速度更快：达到同等性能所需时间减少 30-40%[6]
超参数鲁棒性更好：降低了调参难度和成本[6]

GRPO 性能特点

资源效率优势：内存占用降低 40% 以上[10] [11]
训练速度提升：比 PPO 快 30%~50%[13] [25]
稳定性挑战：在长序列和 MoE 模型中可能不稳定[5] [18]
超参数敏感：对批次大小、学习率等较为敏感[26]

2.2 模型能力提升对比

15%
AIME'24 数学竞赛
GSPO vs GRPO[6]
22%
LiveCodeBench 代码生成
GSPO vs GRPO[6]
18%
CodeForces Elo 评分
GSPO vs GRPO[6]

DeepSeek-R1 GRPO 性能突破

71.2%

AIME 数学竞赛准确率（从基线 15.6% 提升）

提升幅度高达 356%[13]

4.7 步

平均推理步骤（从 2.3 步提升）

显示出更深层次的推理能力[13]

应用场景与优势

3.1 GSPO 应用场景

混合专家 (MoE) 模型

GSPO 通过序列级优化天然适应 MoE 模型的动态路由特性，无需复杂的"路由重放"等稳定化技巧[5] [6]。

  • 避免专家路由变化导致的不稳定性
  • 训练效率提升 2 倍以上
  • 成功应用于 Qwen3 MoE 模型

长序列生成任务

在编程代码生成、法律文书撰写、长篇内容创作等场景下，GSPO 展现出显著优势[24] [6]。

  • 更好的连贯性和逻辑性
  • 有效避免噪声累积
  • 支持更复杂的推理任务

3.2 GRPO 应用场景

数学推理任务

GRPO 在数学推理等需要多步思考和尝试的任务中表现突出，通过组内比较机制优化解题策略[32] [33]。

DeepSeek-R1 成果
AIME 准确率： 71.2%
推理步骤： 4.7 步

资源受限场景

GRPO 通过摒弃价值网络，显著降低了计算和内存开销，适合资源受限环境[34] [35]。

  • 显存占用降低 40%+
  • 训练速度提升 30-50%
  • 可能存在响应长度偏见[36] [37]

3.3 不同模型架构适用性对比

模型架构 GSPO 适用性 GRPO 适用性
混合专家 (MoE) 卓越

天然适应动态路由，无需额外稳定措施

 挑战

需要路由重放等复杂技巧
稠密模型 (Dense) 优秀

在长序列任务中表现突出

 良好

资源效率优势明显
长序列生成 理想

序列级优化避免噪声累积

 一般

token级优化可能不稳定

实现细节与复杂度

GSPO 实现核心

关键步骤

  1. 1 序列采样与分组
  2. 2 序列似然性计算（带长度归一化）
  3. 3 序列级别奖励与优势估计
  4. 4 序列级别裁剪与目标函数构建
  5. 5 梯度更新优化

复杂度分析

  • 计算复杂度：序列生成 + 序列概率计算[19]
  • 内存复杂度：存储序列和序列级概率
  • 实现复杂度：需要构建序列级优化框架

GRPO 实现核心

关键步骤

  1. 1 响应采样与分组
  2. 2 Token 概率记录
  3. 3 组内相对优势计算
  4. 4 Token 级别重要性采样与裁剪
  5. 5 梯度更新优化

复杂度分析

  • 计算复杂度：Token 级别操作在长序列下有额外负担
  • 内存复杂度：无需价值网络，显著降低内存占用[10] [11]
  • 实现复杂度：相对简单，但对 MoE 需要额外技巧[5]

基础设施需求对比

内存需求

GSPO 中等
GRPO 较低
PPO 较高

计算效率

GSPO 高效
GRPO 快速
PPO 标准

实现难度

GSPO 较高
GRPO 中等
PPO 标准

代码实现挑战对比

GSPO 实现挑战

  • 需要构建序列级别的优化框架，对工程能力要求较高
  • 正确实现序列似然性计算和长度归一化
  • 一旦实现，可避免 token 级别噪声和 MoE 路由复杂性[5] [6]

GRPO 实现挑战

  • 相对简单，主要修改优势估计和移除价值网络
  • 正确实现组内比较逻辑和优势信号分配
  • 处理 MoE 模型时需要额外实现路由重放等复杂机制[5]

总结与展望

综合对比总结

核心设计理念

GRPO 创新

通过组内相对奖励估计优势函数，避免独立价值网络依赖，在 token 级别进行优化[10] [11]

GSPO 突破

将优化粒度提升至序列级别，基于整个序列似然性优化，解决 token 级别噪声累积问题[1] [2] [5]

性能表现对比

训练稳定性 GSPO
训练效率 GSPO +40%
最终性能 GSPO 优异[6]
资源效率 GRPO 优势
MoE 支持 GSPO 卓越

优缺点总结

算法 优点 缺点
GRPO
  • 计算和内存效率高：避免了独立价值网络[10] [11]
  • 实现相对简单：基于 PPO 框架修改
  • 数学推理表现良好 [13]
  • 训练稳定性较差：token 级别优化易引入噪声[5] [18]
  • 对超参数敏感 [26]
  • 可能存在偏见：响应长度偏见和问题难度偏见[36] [37]
GSPO
  • 训练稳定性高：序列级别优化有效避免噪声累积[5] [6]
  • 训练效率高：收敛速度更快
  • 最终性能更优：多个基准测试表现突出
  • 天然支持 MoE 模型：无需复杂稳定技巧[5] [6]
  • 实现复杂度较高：需要构建序列级优化框架
  • 基础设施要求较高：需要高效处理完整序列

未来研究方向

理论深化

  • • GSPO 收敛性分析
  • • 样本复杂度研究
  • • 优势函数估计改进

应用扩展

  • • 多模态任务适配
  • • 复杂决策任务验证
  • • 新兴架构适配性

技术融合

  • • 离线强化学习结合
  • • 课程学习集成
  • • 可解释性与安全性