Qwen3 GSPO 与 DeepSeek-R1 GRPO 算法深度对比分析

GSPO (Group Sequence Policy Optimization) 和 GRPO (Group Relative Policy Optimization) 是两种用于大型语言模型强化学习的算法。GSPO 的核心创新在于将优化粒度从 token 级别提升至序列级别，从而在训练稳定性、效率和最终模型性能方面展现出显著优势，尤其适用于混合专家（MoE）模型和长序列生成任务。相比之下，GRPO 通过组内相对奖励来估计优势函数，避免了独立价值网络的需求，降低了计算开销，但在训练稳定性和处理复杂任务方面可能面临挑战。

1. 算法原理与设计

1.1 GSPO (Group Sequence Policy Optimization) 核心原理

Group Sequence Policy Optimization (GSPO) 是一种专为训练大规模语言模型 (LLM) 而设计的强化学习算法，其核心创新在于将优化和评估的粒度从传统的 token 级别提升至整个序列（sequence）级别。与以往算法（如 GRPO）在单个 token 层面计算重要性比例不同，GSPO 在整个序列的似然度（sequence likelihood）基础上定义重要性比例，并在序列级别上进行裁剪（clipping）、奖励分配和优化。这种方法旨在解决传统方法在处理大规模模型、长文本生成以及复杂推理任务时，由于 token 级别概率波动被放大而导致的训练不稳定问题，例如梯度爆炸或梯度消失。GSPO 的关键思想是将奖励信号与整个生成序列的质量相关联，而不是仅仅关注序列中单个 token 的生成概率。通过这种方式，GSPO 能够提供更稳定、噪声更低的训练信号，从而使得模型训练过程更加平滑，避免了训练曲线剧烈抖动甚至模型崩溃的风险。

GSPO 的具体实现流程通常包括以下步骤：首先，从旧策略中采样生成一组针对同一问题的回答；接着，计算每个完整回答的序列级重要性权重，这个权重是基于新旧策略下整个序列生成概率的比值；然后，对每个回答进行奖励计算，并进行序列级别的标准化；之后，应用序列级别的裁剪机制来限制策略更新的幅度，确保新策略不会偏离旧策略太远；最后，基于裁剪后的目标函数进行梯度更新，优化模型参数。这种序列级别的操作，使得 GSPO 能够更有效地利用整个序列的信息，避免了 token 级别优化可能带来的局部最优和噪声累积问题。特别是在混合专家（MoE）模型这类复杂架构下，GSPO 的序列级优化方式能够更好地适应专家动态激活的特性，无需依赖如「路由重放」（routing replay）等复杂技巧来稳定训练，从而简化了训练流程并提升了效率。GSPO 的数学原理体现了其稳定性的来源，其梯度计算形式为 ∇θ ∝ s_sequence_{低方差} * Σ ∇log π_token_{整体梯度}，其中序列级别的重要性权重 s_sequence 具有低方差和全局一致性，从而使得梯度更新更加平滑和稳定。

1.2 GRPO (Group Relative Policy Optimization) 核心原理

Group Relative Policy Optimization (GRPO) 是一种旨在改进传统强化学习算法（如 PPO）在大语言模型训练中不足的算法，由 DeepSeek 团队提出。其核心思想是通过组内相对奖励来估计优势函数，从而避免了对独立价值网络（Critic Model）的依赖。在 GRPO 中，对于每个输入问题（prompt），模型会生成一组（group）不同的回答（responses）。然后，这些回答会通过一个奖励模型（reward model）或预设的奖励规则进行评分，得到每个回答的原始奖励值。GRPO 的关键步骤在于，它会计算这组回答的平均奖励，并将单个回答的奖励与这个平均奖励进行比较（有时还会除以标准差进行归一化），从而得到该回答的相对优势（relative advantage）。这个相对优势值随后被用作优化策略网络（Actor Model）的信号，指导模型向生成更高奖励回答的方向更新。

GRPO 的优势在于其简化了强化学习的流程并降低了计算和内存开销。由于不需要训练和维护一个与策略网络规模相当的价值网络，GRPO 在训练大型语言模型时更为高效，尤其是在显存占用方面可以显著减少。此外，GRPO 通过组内比较来估计优势，使得奖励信号更加集中于回答之间的相对优劣，这对于某些奖励稀疏或难以绝对量化的任务（如数学推理、代码生成）可能更为有效。GRPO 的目标函数通常也会包含类似于 PPO 的裁剪机制（clipping mechanism）和 KL 散度约束（KL divergence constraint），以确保策略更新的稳定性，防止新策略与旧策略差异过大而导致性能崩溃。GRPO 的实现流程一般包括：使用当前策略为每个问题生成多个回答，记录每个回答中每个 token 的生成概率；然后使用奖励模型对回答进行评分；接着计算组内奖励的均值和标准差，并对每个奖励进行标准化得到相对优势；最后，基于这个相对优势和裁剪、KL 散度约束来构建目标函数，更新策略模型参数。

1.3 GSPO 与 GRPO 在重要性采样机制上的异同

GSPO (Group Sequence Policy Optimization) 和 GRPO (Group Relative Policy Optimization) 在重要性采样机制上存在显著的差异，这直接影响了它们训练的稳定性和效率。GRPO 沿用了类似 PPO 的 token-level 重要性采样机制，即在计算策略梯度时，会考虑新旧策略在每个 token 位置生成该 token 的概率比值。然而，正如 GSPO 论文中指出的，这种 token-level 的重要性权重在大型语言模型，特别是生成长序列或应用于 MoE (Mixture-of-Experts) 架构时，容易出现问题。由于每个 token 的概率本身可能存在微小波动，当序列变长或模型复杂度增加时，这些微小的波动会累积放大，导致重要性权重变得不稳定和不可靠，甚至可能引入高方差的训练噪声，最终可能导致模型训练崩溃。GRPO 的这种 token-level 重要性采样，在 MoE 模型中尤其成问题，因为 MoE 模型会动态激活不同的专家子网络，导致相同输入在不同训练阶段或更新后激活的专家路径可能发生变化，这使得基于历史 token 概率计算的重要性权重失去可比性，进一步加剧了训练的不稳定性。

相比之下，GSPO 的核心改进之一就是采用了 sequence-level 的重要性采样机制 。GSPO 不再计算单个 token 的重要性权重，而是基于整个生成序列的似然性（sequence likelihood）来定义重要性比例。具体来说，GSPO 会比较新旧策略下生成整个回答序列的概率，将这个序列概率的比值（通常进行长度归一化处理）作为重要性权重。这种做法的理论依据是，重要性采样的基本原则是评估在新策略下某个事件（在这里是整个序列）发生的概率与在旧策略下该事件发生概率的比值。通过将评估粒度提升到序列级别，GSPO 能够更准确地反映新旧策略在生成整个有意义回答上的差异，而不是仅仅关注局部 token 的变动。这种序列级别的处理方式，使得 GSPO 能够有效避免 GRPO 中由于 token-level 噪声累积和 MoE 专家路径变化导致的重要性权重失效问题，从而提供了更稳定、更可靠的训练信号，显著提升了训练的稳定性和效率，尤其是在处理长文本和 MoE 模型时表现更为突出。

下表总结了 GSPO 与 GRPO 在重要性采样机制上的主要异同点：

特性	GSPO (Group Sequence Policy Optimization)	GRPO (Group Relative Policy Optimization)
采样级别	序列级别 (Sequence-level)	Token 级别 (Token-level)
重要性比率	基于整个序列的似然度，并进行长度归一化：$s_i(\theta) = \left( \frac{\pi_\theta(y_i \| x)}{\pi_{\theta_{old}}(y_i \| x)} \right)^{\frac{1}{\|y_i\|}}$	基于每个 token 的似然度：$w_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t}\|x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t}\|x, y_{i,<t})}$
理论依据	与重要采样的基本原理一致，认为奖励和优化的颗粒度应与实际评判标准（整个序列）一致	在 token 级别进行离策略校正，但可能因与序列级别奖励不匹配而引入噪声
方差控制	通过序列级别采样和长度归一化有效降低方差，提高训练稳定性	Token 级别方差易累积，尤其在长序列和 MoE 模型中，可能导致训练不稳定
裁剪机制	在序列级别对重要性比率 $s_i(\theta)$ 进行裁剪	在 token 级别对重要性比率 $w_{i,t}(\theta)$ 进行裁剪

Table 1: GSPO 与 GRPO 在重要性采样机制上的对比

这种根本性的差异是 GSPO 相较于 GRPO 在稳定性和效率上取得显著提升的关键原因之一。GSPO 的序列级优化思想使其能够更好地处理长序列生成任务，并简化了混合专家（MoE）模型等复杂架构的强化学习训练过程。

1.4 GSPO 与 GRPO 在优势函数估计上的异同

GSPO (Group Sequence Policy Optimization) 和 GRPO (Group Relative Policy Optimization) 在优势函数 (Advantage Function) 的估计方法上既有相似之处，也存在关键区别，这直接影响了它们如何引导策略更新。两者都采用了基于「组」（group）或「群体」（multiple responses）的比较思想来估计优势，从而避免了对传统独立价值网络（Critic Model）的依赖，这是它们相对于 PPO 等算法的一个共同优势。在 GRPO 中，对于给定的一个问题（query），模型会生成一组回答（responses），每个回答会得到一个奖励（reward）。GRPO 的核心操作是计算这组奖励的均值和标准差，然后将每个回答的原始奖励减去均值并除以标准差，得到标准化的奖励，这个标准化后的奖励就被用作该回答中所有 token 的优势函数估计值。这种方法的本质是通过组内样本的相互比较，得到一个相对的优势评估，即某个回答相对于同组其他回答的平均表现如何。

GSPO 同样利用了组内比较的思想来计算优势，但其优势的计算和分配是在序列级别进行的，并且与序列级别的重要性采样机制紧密结合。GSPO 首先会计算每个完整回答序列的奖励，然后同样可能进行组内的标准化处理（具体细节可能因实现而异，但核心是序列级别的奖励比较）。关键在于，GSPO 将这个序列级别的标准化奖励（或称为序列优势）应用于整个序列，而不是像 GRPO 那样将 token-level 的优势分配给序列中的每个 token 。这意味着在 GSPO 中，一个序列中的所有 token 共享相同的优势值，这个优势值反映了整个序列的相对质量。这种处理方式与 GSPO 的序列级优化目标是一致的，确保了奖励信号、重要性权重和优化目标在粒度上的对齐。相比之下，GRPO 将基于完整序列得到的标准化奖励分配给每个 token 作为其优势，这在逻辑上可能存在不一致性，因为单个 token 的改变可能并不直接影响整个序列的最终奖励，尤其是在长序列和复杂任务中。GSPO 通过将优势估计也提升到序列级别，进一步增强了其训练的稳定性和对长序列任务的适应性，避免了 GRPO 中可能存在的 token-level 优势信号噪声问题。

1.5 GSPO 与 GRPO 在裁剪机制与优化目标上的异同

GSPO (Group Sequence Policy Optimization) 和 GRPO (Group Relative Policy Optimization) 在裁剪机制 (clipping mechanism) 和优化目标 (optimization objective) 的设计上，都借鉴了 PPO 的思想，旨在限制策略更新的幅度以保证训练的稳定性，但它们在应用的粒度上有所不同，这直接反映了它们核心设计理念的差异。GRPO 的裁剪机制和优化目标主要是在 token 级别进行的 。其目标函数通常包含一个重要性权重（新旧策略下生成某个 token 的概率比）与优势函数的乘积项，并对这个乘积项应用裁剪操作，限制重要性权重在一个预设的范围内（例如 [1-ε, 1+ε]）。同时，GRPO 的目标函数通常还会加入一个 KL 散度项，用于约束新策略与旧策略（或某个参考策略）之间的差异，防止策略更新过大。这种 token-level 的裁剪和优化，虽然在一定程度上能稳定训练，但也面临着前述的 token-level 重要性权重不稳定和噪声累积的问题，尤其是在长序列和 MoE 模型场景下。

GSPO 则将裁剪机制和优化目标提升到了序列级别 。GSPO 的目标函数是基于整个序列的重要性比率（即新旧策略下生成整个序列的概率比）和序列级别的优势函数来构建的。裁剪操作同样应用于这个序列级别的重要性比率，确保其不会偏离 1 太远。这意味着 GSPO 是在评估和调整生成整个序列的策略，而不是仅仅关注序列中单个 token 的生成策略。这种序列级别的裁剪和优化，与 GSPO 的序列级重要性采样和序列级优势估计是一脉相承的。通过在整个序列的层面上进行约束和优化，GSPO 能够更有效地控制策略的整体变化，避免了 GRPO 中 token-level 操作的潜在不稳定性。GSPO 论文中提到的一个反直觉发现是，尽管 GSPO 在序列级别裁剪掉的「token 比例」可能远高于 GRPO 在 token 级别裁剪掉的，但 GSPO 依然能实现更高的训练效率，这表明 GRPO 的 token-level 梯度估计本身可能就包含较多噪声，而 GSPO 的序列级方法提供了更可靠和有效的学习信号。因此，GSPO 的优化目标更侧重于提升生成高质量完整序列的能力，而 GRPO 则更侧重于优化生成序列中每个 token 的局部策略。

2. 性能表现与效果

2.1 GSPO 的训练效率与稳定性分析

GSPO (Group Sequence Policy Optimization) 在训练效率和稳定性方面相较于 GRPO (Group Relative Policy Optimization) 展现出显著的优势，尤其是在处理大规模语言模型、长序列生成以及混合专家（MoE）架构时。根据相关研究和论文描述，GSPO 的核心设计理念——序列级别的优化——直接解决了 GRPO 中因 token-level 重要性采样和优势估计带来的不稳定性问题。GRPO 在训练大型模型时，常因 token 概率的微小波动在长序列中累积放大，导致梯度估计噪声过大，进而引发训练过程剧烈抖动甚至模型崩溃。GSPO 通过将重要性比率、奖励计算、裁剪和优化都置于序列层面，有效地平滑了训练信号，减少了噪声干扰，从而使得训练过程更加稳定，训练曲线呈现平滑上升趋势，避免了 GRPO 训练中常见的剧烈抖动现象。

在训练效率方面，GSPO 也表现出优越性。实验结果表明，在相同的计算资源和训练步数下，使用 GSPO 训练的模型能够更快地收敛，并且达到更高的性能指标。例如，在 Qwen3-30B MoE 模型的训练中，GSPO 无需额外的稳定性策略（如路由重放）即可实现稳定收敛，并且训练效率提升了 2 倍以上。另一项对比实验显示，GSPO 达到同等性能所需的训练时间比 GRPO 减少了 30-40% 。这种效率的提升主要归因于 GSPO 更稳定、噪声更低的梯度估计，使得模型参数更新方向更为准确，样本利用率更高。此外，GSPO 对超参数（如学习率、批量大小）的鲁棒性也更好，降低了调参的难度和成本。GSPO 的序列级优化范式，使其能够更好地利用长文本信息，支持生成更长、更复杂的回答，这对于提升模型在需要深度推理任务上的表现至关重要。

2.2 GRPO 的训练效率与稳定性分析

GRPO (Group Relative Policy Optimization) 作为一种旨在改进 PPO 等传统强化学习算法在大语言模型训练中效率问题的算法，其核心优势在于通过消除对独立价值网络（Critic Model）的依赖，显著降低了计算和内存开销，从而在一定程度上提升了训练效率。与 PPO 需要同时维护和更新一个与策略模型（Actor Model）规模相当的价值网络相比，GRPO 仅需策略模型本身以及一个用于评估生成文本质量的奖励模型（或规则），这使得 GRPO 在训练大规模语言模型时，尤其是在显存资源受限的情况下，具有明显的优势。例如，有资料指出 GRPO 的内存占用相较于 PPO 可以降低 40% 以上，训练速度比 PPO 快 30%~50% 。这种资源消耗的减少，使得研究者可以在相同的硬件条件下训练更大的模型，或者以更快的速度进行迭代。

然而，GRPO 在训练稳定性方面面临一些挑战。尽管 GRPO 通过引入 KL 散度约束和裁剪机制来限制策略更新的幅度，以期保持训练的稳定性，但其 token-level 的重要性采样和优势估计机制在处理长序列、大规模模型或 MoE (Mixture-of-Experts) 架构时，容易出现问题。具体来说，token 级别的概率波动会在长序列中累积放大，导致重要性权重和梯度估计的方差过大，进而引发训练不稳定，甚至出现模型崩溃（model collapse）的现象。在 MoE 模型中，由于专家路由的动态性，token-level 的重要性权重计算变得更加不可靠，进一步加剧了训练的不稳定性，有时需要引入如「路由重放」（Routing Replay）等复杂技巧来辅助收敛，但这又增加了实现的复杂度和计算成本。一些实践案例也表明，GRPO 的训练对批次大小、学习率等超参数较为敏感，不合理的设置容易导致训练早期停滞或性能无法持续提升。因此，虽然 GRPO 在计算效率上优于 PPO，但其训练稳定性，尤其是在复杂场景下的稳定性，是其面临的一个重要挑战。

2.3 GSPO 与 GRPO 在模型最终性能上的对比

根据现有的研究和实验数据，GSPO (Group Sequence Policy Optimization) 在模型最终性能上普遍优于或至少不逊于 GRPO (Group Relative Policy Optimization)。GSPO 论文中明确指出，GSPO 在训练效率和性能上均优于 GRPO 算法。这种性能优势体现在多个基准测试任务上。例如，在 AIME』24 数学竞赛、LiveCodeBench 代码生成以及 CodeForces Elo 评分等任务中，使用 GSPO 训练的模型相较于 GRPO 基线均有显著提升。具体数据显示，在 AIME』24 数学竞赛上，GSPO 带来了约 15% 的性能提升；在 LiveCodeBench 上提升了约 22%；在 CodeForces Elo 评分上提升了约 18% 。这些提升表明 GSPO 能够更有效地引导模型学习到更优的策略，从而在各种复杂的推理和生成任务中取得更好的表现。

GRPO 本身作为一种改进算法，其设计初衷也是为了提升模型性能，特别是在数学推理和代码生成等需要较强推理能力的任务上。DeepSeek-R1 模型采用 GRPO 进行强化学习训练后，在 AIME 数学竞赛准确率上从基线模型的 15.6% 提升到了 71.2%，提升幅度高达 356% 。这显示了 GRPO 在特定任务上的强大潜力。然而，GSPO 通过其更稳定和高效的序列级优化机制，进一步挖掘了模型性能的上限。GSPO 的成功应用，直接促成了最新 Qwen3 模型的显著性能提升，使其在多个评测基准上取得了领先的成绩。例如，Qwen3-235B-A22B 模型在数学、代码、对话与逻辑推理方面均表现出显著优势，被认为是全方位领先的模型。虽然 GRPO 在某些场景下也能带来性能提升，但 GSPO 凭借其更优的稳定性和效率，以及由此带来的更充分的模型训练，往往能够达到更高的最终性能水平。需要注意的是，模型最终性能也受到多种因素影响，包括模型架构、训练数据、超参数设置等，但算法本身的优劣是其中一个关键因素。

2.4 GSPO 与 GRPO 在特定任务（如数学推理）上的表现

在数学推理这类需要多步推导和精确结果的复杂任务中，GSPO (Group Sequence Policy Optimization) 和 GRPO (Group Relative Policy Optimization) 都展现出一定的潜力，但 GSPO 通常能带来更稳定和显著的性能提升。GRPO 被广泛应用于增强大型语言模型在数学推理任务上的能力。例如，DeepSeek-R1 模型通过 GRPO 强化学习训练后，在 AIME 数学竞赛的准确率从 SFT 基线模型的 15.6% 大幅提升至 71.2%，平均推理步骤也从 2.3 步增加到 4.7 步，显示出 GRPO 在引导模型进行更深层次推理方面的有效性。GRPO 通过组内相对奖励来指导模型学习，使得模型能够区分不同解题路径的优劣，从而优化其推理策略。然而，GRPO 在数学推理这类长序列、奖励稀疏的任务中，也可能面临训练不稳定的挑战，需要仔细调整超参数和训练策略。

GSPO 凭借其序列级别的优化机制，在数学推理等复杂任务上表现出更强的鲁棒性和更高的性能上限。GSPO 论文中提到的实验结果表明，在 AIME』24 数学竞赛基准上，GSPO 相较于 GRPO 基线取得了约 15% 的性能提升。这表明 GSPO 能够更有效地处理数学推理任务中长而复杂的推导过程。通过将奖励和优化集中在整个序列的层面，GSPO 能够更好地评估一个完整解题步骤序列的质量，而不是仅仅关注局部 token 的正确性。这种全局视角有助于模型学习到更连贯、更符合逻辑的推理策略。此外，GSPO 在训练 MoE 模型方面的稳定性优势，也使其在处理需要大规模模型参与的复杂数学推理任务时更具竞争力，因为 MoE 架构本身就是为了扩展模型能力而设计的。Qwen3 模型在数学推理能力上的显著提升，也得益于 GSPO 算法的应用。例如，Qwen3 在 AIME25 上取得了 81.5 分的高分，超越了 DeepSeek-R1（未公布具体分数）。这进一步印证了 GSPO 在提升模型数学推理能力方面的有效性。

3. 应用场景与优势

3.1 GSPO 的应用场景及优势（如 MoE 模型、长序列生成）

GSPO (Group Sequence Policy Optimization) 凭借其独特的序列级优化机制，在多个应用场景中展现出显著优势，尤其是在处理混合专家（MoE）模型和长序列生成任务时。对于 MoE 模型而言，其核心特性是动态激活不同的专家子网络来处理不同的输入或输入的不同部分。传统的 token-level 强化学习算法（如 GRPO）在 MoE 模型上训练时，由于专家激活路径的动态变化，会导致 token-level 的重要性权重计算失效，进而引发训练不稳定甚至崩溃。GSPO 通过将优化粒度提升到序列级别，关注整个序列的整体生成质量，而不是单个 token 的生成路径或依赖的特定专家，从而有效解决了 MoE 模型 RL 训练的稳定性难题。实验证明，GSPO 能够稳定地训练 MoE 模型，无需依赖复杂的「路由重放」等稳定化技巧，并且训练效率更高。这使得 GSPO 成为推动 MoE 模型能力边界的重要工具，例如在最新的 Qwen3 MoE 模型中就成功应用了 GSPO 。

在长序列生成场景下，如编程代码生成、法律文书撰写、长篇内容创作等，GSPO 的优势同样明显。长序列生成对模型的连贯性、逻辑性和全局规划能力提出了更高要求。token-level 的优化方法在长序列中容易因噪声累积和信用分配困难而导致性能下降。GSPO 的序列级优化能够更好地捕捉和优化整个长序列的结构和质量，通过评估和优化完整序列的似然性，引导模型生成更符合整体目标的长文本。GSPO 的训练信号更稳定，噪声更低，从而减少了训练过程中的剧烈抖动（如模型崩溃）。此外，GSPO 还展现出对超参数更强的鲁棒性，简化了调参过程，并具备简化强化学习基础设施设计的潜力。这些优势使得 GSPO 不仅在 Qwen3 等先进模型中取得了成功，也为未来更大规模的语言模型训练提供了有力的技术支持。

3.2 GRPO 的应用场景及优势（如数学推理、资源受限场景）

GRPO (Group Relative Policy Optimization) 算法因其独特的设计，在特定应用场景下展现出显著的优势，尤其是在数学推理任务和计算资源受限的环境中。GRPO 的核心优势在于其摒弃了传统的价值网络（Critic Model），通过组内相对奖励来估计优势函数，从而显著降低了训练过程中的内存占用和计算开销。这使得 GRPO 在资源受限的情况下，依然能够高效地对大规模语言模型进行微调。例如，在 DeepSeek-Math 和 DeepSeek-R1 模型的训练中，GRPO 的应用有效地提升了模型在数学推理和复杂问题解决方面的能力，而无需承担 PPO 等算法中价值网络带来的额外负担。这种计算效率的提升，使得研究人员和开发者能够以更低的成本探索和应用强化学习技术。

在数学推理这类需要多步思考和尝试的任务中，GRPO 的组内比较机制尤为有效。模型可以为同一个数学问题生成多个候选解答，GRPO 通过比较这些解答的相对优劣来指导策略更新，这对于需要探索不同解题思路的数学推理任务非常有益。GRPO 通过舍弃 Critic 模型，降低了训练的资源消耗，使得在大型模型上应用强化学习进行数学能力微调更为可行。然而，GRPO 也存在一些固有的缺陷，如「响应长度偏见」和「问题难度偏见」，这些偏见可能导致模型生成冗长的错误回答，或者在优化时更倾向于简单问题而忽略难题，从而影响训练的最终效果和模型的泛化能力。这些缺陷限制了 GRPO 在更广泛场景下的应用和性能表现。

3.3 GSPO 与 GRPO 在不同模型架构下的适用性比较

GSPO 和 GRPO 在不同模型架构下的适用性存在显著差异，尤其是在处理如混合专家（MoE）这类复杂架构时。GSPO 的序列级优化范式使其在 MoE 模型上表现出卓越的稳定性和效率。MoE 模型的核心在于动态激活不同的专家子网络，这导致 token 级别的历史数据（如 token 概率和重要性权重）在不同训练阶段可能因专家路径变化而失去可比性，从而引发 GRPO 等 token 级优化算法的不稳定。GSPO 通过关注整个序列的整体生成质量，而非单个 token 的生成路径或依赖的特定专家，成功摆脱了对专家激活路径的依赖，从而彻底消除了对复杂「路由重放」（routing replay）等稳定化技巧的需求。这使得 GSPO 成为训练大规模 MoE 模型的理想选择，能够充分发挥 MoE 架构的潜力。

相比之下，GRPO 在 MoE 模型上的训练面临较大挑战。由于其 token 级别的优化机制，GRPO 容易受到专家路由动态性的影响，导致训练不稳定甚至崩溃。为了在 MoE 模型上稳定训练 GRPO，通常需要引入如「路由重放」等额外技术，但这会增加实现的复杂度和计算成本，并可能限制模型的实际容量。对于传统的稠密（Dense）模型架构，GRPO 和 GSPO 均可应用，但 GSPO 在处理长序列生成和复杂推理任务时，凭借其序列级优化的优势，通常能提供更稳定和高效的训练。GRPO 在资源受限的场景下，由于其较低的计算和内存开销，对于稠密模型的微调仍具有一定的吸引力，尤其是在不需要极长序列生成或对训练稳定性要求相对较低的任务中。然而，随着模型规模和任务复杂度的不断提升，GSPO 在稳定性和最终性能上的优势使其成为更普适和可靠的选择。

4. 实现细节与复杂度

4.1 GSPO 的实现细节与复杂度分析

GSPO 的核心实现细节围绕其序列级别的优化展开。其关键步骤包括：

序列采样与分组：对于每个查询（prompt），使用当前策略（或旧策略，在 off-policy 设置下）生成一组（G 个）完整的响应序列。
序列似然性计算：对于每个生成的序列 $y_i$，计算其在新策略 $\pi_\theta$ 和旧策略 $\pi_{\theta_{old}}$ 下的概率 $\pi_\theta(y_i|x)$ 和 $\pi_{\theta_{old}}(y_i|x)$。这通常涉及对序列中每个 token 生成概率的连乘，并可能进行长度归一化，例如 $s_i(\theta) = \left( \frac{\pi_\theta(y_i|x)}{\pi_{\theta_{old}}(y_i|x)} \right)^{\frac{1}{|y_i|}}$ 。
奖励计算与优势估计：对每个序列 $y_i$ 使用奖励模型或预设规则计算奖励 $r(x, y_i)$。然后，基于组内奖励计算每个序列的优势估计 $\hat{A}i$，通常采用组内归一化的方式，如 $\hat{A}_i = \frac{r(x, y_i) – \text{mean}({r(x, y_j)}{j=1}^G. }{\text{std}({r(x, y_j)}_{j=1}^G)}$ 。✅
序列级别裁剪与目标函数构建：计算序列级别的重要性比率 $s_i(\theta)$，并应用裁剪操作 $\text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon)$。构建目标函数，例如 $J_{GSPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \min \left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \right]$ 。通常会加入 KL 散度惩罚项以约束策略更新。
梯度更新：根据构建的目标函数计算梯度并更新策略模型参数。

GSPO 的复杂度分析：

计算复杂度：GSPO 的主要计算开销在于生成多个响应序列、计算序列似然性（涉及每个序列的 token 概率计算）以及奖励模型的调用。序列似然性的计算与序列长度线性相关。优势估计和裁剪操作在序列级别进行，其计算量相对较小。总体而言，GSPO 的计算复杂度与生成的序列数量、序列平均长度以及模型前向传播的计算量相关。
内存复杂度：GSPO 需要存储生成的序列、每个序列的 token 概率（用于计算序列似然性）、奖励值和优势值。与 GRPO 类似，GSPO 也不需要额外的价值网络，因此在模型参数量上与 GRPO 相当。然而，由于 GSPO 在序列级别操作，其对批次中序列数量的管理可能对内存有特定要求。
实现复杂度：GSPO 的实现需要对传统的 PPO 框架进行修改，将重要性采样、裁剪和优化目标从 token 级别提升到序列级别。这需要仔细处理序列概率的计算和归一化，以及序列级别梯度的反向传播。虽然概念上清晰，但正确实现序列级别的操作需要一定的工程能力。

GSPO 通过将优化粒度提升到序列级别，简化了 MoE 模型等复杂架构的训练，避免了路由重放等技巧，从而在一定程度上降低了实现的复杂度和潜在的调试成本。

4.2 GRPO 的实现细节与复杂度分析

GRPO 的实现细节主要围绕其组内相对奖励和 token 级别优化展开。其关键步骤包括：

响应采样与分组：对于每个查询（prompt），使用当前策略（或旧策略）生成一组（G 个）完整的响应序列。
Token 概率记录：在生成每个响应序列的同时，记录下每个 token $y_{i,t}$ 在新旧策略下的生成概率 $\pi_\theta(y_{i,t}|x, y_{i,<t})$ 和 $\pi_{\theta_{old}}(y_{i,t}|x, y_{i,<t})$。
奖励计算与优势估计：对每个响应序列 $y_i$ 使用奖励模型或预设规则计算奖励 $r(x, y_i)$。然后，基于组内奖励计算每个序列的相对优势 $\hat{A}i$，通常采用组内归一化的方式，如 $\hat{A}_i = \frac{r(x, y_i) – \text{mean}({r(x, y_j)}{j=1}^G. }{\text{std}({r(x, y_j)}_{j=1}^G)}$ 。这个优势值会被分配给序列中的每个 token，即 $\hat{A}_{i,t} = \hat{A}_i$。✅
Token 级别重要性采样与裁剪：计算每个 token 的重要性比率 $w_{i,t}(\theta) = \frac{\pi_\theta(y_{i,t}|x, y_{i,<t})}{\pi_{\theta_{old}}(y_{i,t}|x, y_{i,<t})}$。应用裁剪操作 $\text{clip}(w_{i,t}(\theta), 1-\epsilon, 1+\epsilon)$。
目标函数构建与梯度更新：构建目标函数，例如 $J_{GRPO}(\theta) = \mathbb{E} \left[ \frac{1}{G} \sum_{i=1}^G \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \min \left( w_{i,t}(\theta) \hat{A}{i,t}, \text{clip}(w{i,t}(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_{i,t} \right) \right]$ 。通常会加入 KL 散度惩罚项。然后计算梯度并更新策略模型参数。

GRPO 的复杂度分析：

计算复杂度：GRPO 的主要计算开销在于生成多个响应序列、记录每个 token 的概率、奖励模型的调用以及 token 级别的重要性采样和裁剪操作。与 GSPO 相比，GRPO 在 token 级别进行更多的操作，这可能在长序列场景下带来额外的计算负担。优势估计的计算量与 GSPO 类似。
内存复杂度：GRPO 不需要额外的价值网络，因此显著降低了内存占用，这是其相对于 PPO 的主要优势之一。它需要存储生成的序列、每个 token 的概率、奖励值和共享的优势值。对于非常长的序列，存储每个 token 的概率可能会对内存有一定压力。
实现复杂度：GRPO 的实现相对直接，特别是对于熟悉 PPO 的开发者而言。其主要修改在于优势函数的计算方式（组内相对奖励）和移除了价值网络。token 级别的裁剪和重要性采样是 PPO 的标准组件。然而，处理 MoE 模型时，为了稳定训练可能需要实现如「路由重放」等额外机制，这会增加实现的复杂度。

GRPO 通过简化优势估计和移除价值网络，降低了部分计算和内存开销，但在处理长序列和复杂模型时，其 token 级别的操作可能引入稳定性和效率问题。

4.3 GSPO 与 GRPO 在基础设施需求上的对比

GSPO 和 GRPO 在基础设施需求上的主要区别源于它们对价值网络的依赖以及优化粒度的不同。

GRPO 的一个核心优势是显著降低了对计算和内存资源的需求，因为它摒弃了独立的价值网络（Critic Model）。价值网络通常与策略网络（Actor Model）规模相当，是 PPO 等 Actor-Critic 算法中主要的计算和内存开销来源之一。因此，GRPO 在训练大规模语言模型时，对 GPU 显存的要求更低，使得在资源受限的环境下训练更大模型或进行更长时间的微调成为可能。这使得 GRPO 在基础设施成本方面具有一定优势，尤其是在需要快速迭代或部署到资源有限的平台时。

GSPO 同样不依赖于独立的价值网络，在这方面与 GRPO 具有相似的优势，即相对于 PPO 可以节省相应的资源。然而，GSPO 的序列级优化范式可能对基础设施的其他方面提出不同要求。例如，GSPO 需要有效地处理和管理完整的响应序列，包括序列的生成、存储和序列级别概率的计算。虽然 GSPO 在理论上可以简化 MoE 模型的训练流程，避免了路由重放等复杂机制，但其序列级别的操作可能需要基础设施能够高效地支持对长序列数据的处理。此外，GSPO 的稳定性和高效性可能使得在相同的硬件条件下能够进行更大规模的训练或处理更复杂的数据集，从而间接影响对基础设施（如数据吞吐能力、分布式训练效率）的要求。

总的来说，GRPO 和 GSPO 都通过避免价值网络降低了传统 Actor-Critic 方法的基础设施门槛。GRPO 的优势主要体现在对显存和计算单元的即时需求降低。GSPO 则在保持这一优势的同时，通过其稳定性和效率，可能推动更大规模、更长序列的训练，这对基础设施的整体处理能力和数据管理能力提出了更高的要求，但也可能带来更优的模型性能回报。GSPO 的设计理念，特别是其对长序列和 MoE 模型的友好性，可能使其更适合构建面向未来的、能够处理更复杂任务的大型语言模型基础设施。

4.4 GSPO 与 GRPO 在代码实现上的差异与挑战

GSPO 和 GRPO 在代码实现上的差异主要源于它们核心优化粒度的不同：GSPO 在序列级别操作，而 GRPO 在 token 级别操作。

GRPO 的实现相对更接近传统的 PPO。开发者需要：

修改采样逻辑以生成一组响应，而不是单个响应。
实现组内相对奖励的计算逻辑，用于估计优势函数，替代原有的价值网络。
保留 token 级别的重要性采样、概率比计算和裁剪机制。
主要的挑战在于正确实现组内比较逻辑，并确保优势信号的合理分配。如果应用于 MoE 模型，为了稳定训练，可能还需要实现如「路由重放」等额外机制，这会显著增加代码的复杂度和维护成本。调试 token 级别优化在长序列下可能出现的不稳定问题也是一个挑战。

GSPO 的实现则需要更大的范式转变：

采样逻辑与 GRPO 类似，需要生成一组响应。
核心是实现序列级别的重要性比率 $s_i(\theta)$ 的计算。这需要能够计算整个序列在新旧策略下的联合概率，并可能涉及长度归一化等细节。
优势函数 $\hat{A}_i$ 的计算与 GRPO 类似，也是基于组内相对奖励，但应用于整个序列。
裁剪机制需要应用于序列级别的重要性比率 $s_i(\theta)$，而不是 token 级别的比率。
目标函数的构建和梯度计算都需要在序列级别进行。
GSPO 实现的主要挑战在于正确且高效地计算序列似然性，并构建稳定的序列级别优化流程。这需要对概率模型和强化学习原理有深入的理解。然而，一旦正确实现，GSPO 可以避免 GRPO 中许多与 token 级别噪声和 MoE 路由相关的复杂性问题，从而可能简化整体的代码结构和调试难度。例如，GSPO 无需实现「路由重放」机制来处理 MoE 模型，这本身就是一大简化。

总结来说，GRPO 的实现是对 PPO 的增量式修改，主要关注优势估计的替换。GSPO 的实现则更像是一个新的构建，需要从头设计序列级别的核心组件。虽然 GSPO 的初始实现可能更具挑战性，但其潜在的稳定性和简化复杂场景（如 MoE）的能力，可能使其在长期维护和扩展上更具优势。

5. 总结与展望

5.1 GSPO 与 GRPO 的综合对比总结

GSPO 和 GRPO 是大型语言模型强化学习领域两种重要的算法，它们在设计理念、性能表现和适用场景上各有侧重，但 GSPO 在多个关键方面展现出更优越的综合能力。

核心设计理念：

GRPO 的核心创新在于通过组内相对奖励来估计优势函数，从而避免了传统 PPO 中对独立价值网络（Critic）的依赖，显著降低了计算和内存开销。其优化和重要性采样主要在 token 级别进行。
GSPO 则更进一步，将优化和重要性采样的粒度从 token 级别提升至序列级别 。它基于整个序列的似然性进行优化，旨在解决 token 级别优化在长序列和复杂模型中可能引入的噪声累积和不稳定性问题。

性能表现与效果：

训练稳定性与效率：GSPO 在训练稳定性和效率方面显著优于 GRPO 。GSPO 的训练曲线更平滑，能有效避免模型崩溃，并且在 MoE 模型训练中无需复杂的稳定化技巧。GSPO 达到同等性能所需的训练时间通常比 GRPO 少 30-40% 。
最终模型性能：GSPO 在多个基准测试中展现出优于 GRPO 的最终模型性能，尤其是在数学推理、代码生成等复杂任务上。GSPO 能够更有效地引导模型学习到更优的策略。
特定任务表现：两者在数学推理等任务上均有应用，GRPO 已显示出潜力，但 GSPO 凭借其更稳定的训练和序列级优化，通常能带来更显著的性能提升。

应用场景与优势：

GRPO 的优势在于其计算效率和对资源的较低需求，适用于资源受限场景和对训练速度有要求的任务。
GSPO 的优势在于其卓越的稳定性和对复杂模型架构（如 MoE）及长序列生成任务的友好性 。它能够支持更大规模的模型训练和更复杂的任务。

实现复杂度：

GRPO 是对 PPO 的改进，实现相对直接，但处理 MoE 模型时可能需要额外技巧。
GSPO 的实现需要更根本的范式转变，但一旦实现，可能简化复杂场景下的训练流程。

总结而言，GRPO 通过简化 PPO 提供了一个资源高效的替代方案，而 GSPO 则通过序列级优化范式，在稳定性、效率和最终性能上实现了显著突破，代表了大型语言模型强化学习算法的一个重要发展方向。

5.2 两种算法的优缺点总结

为了更清晰地对比 GSPO 和 GRPO，下表总结了它们的主要优缺点：

算法	优点	缺点
GRPO	1. 计算和内存效率高：避免了独立价值网络，降低了资源消耗。 2. 实现相对简单：基于 PPO 框架修改，易于理解和实现（基础版本）。 3. 在某些特定任务（如数学推理）上表现良好。	1. 训练稳定性较差：token 级别优化在长序列和 MoE 模型中易引入噪声，导致模型崩溃。 2. 对超参数敏感：训练效果受批次大小、学习率等影响较大。 3. 可能存在偏见：如响应长度偏见和问题难度偏见。 4. 处理 MoE 模型复杂：可能需要「路由重放」等额外稳定措施。
GSPO	1. 训练稳定性高：序列级别优化有效避免了噪声累积，训练曲线平滑。 2. 训练效率高：收敛速度更快，达到同等性能所需时间更短。 3. 最终模型性能更优：在多个基准测试上表现更好。 4. 对超参数鲁棒性更好。 5. 天然支持 MoE 模型和长序列生成：无需复杂稳定技巧，简化训练流程。 6. 理论基础更坚实：序列级优化与奖励粒度更匹配。	1. 实现复杂度较高：需要构建序列级别的优化框架，对工程能力要求较高。 2. 对基础设施的数据处理能力要求可能更高：需要高效处理和管理完整序列。

Table 2: GSPO 与 GRPO 优缺点总结

从上表可以看出，GSPO 在稳定性、效率和性能方面全面超越了 GRPO，尤其是在处理复杂模型和长序列方面优势明显。GRPO 的主要优势在于其实现的相对简单性和较低的资源消耗，但在追求更高模型性能和更稳定训练时，GSPO 是更优的选择。

5.3 未来研究方向与潜在改进空间

尽管 GSPO 已经展现出显著的优势，但大型语言模型的强化学习领域仍然充满挑战和机遇，未来研究可以从以下几个方面展开：

GSPO 的理论深化与扩展：
- 理论分析：进一步深入研究 GSPO 的理论性质，例如其收敛性、样本复杂度以及在更广泛强化学习问题中的适用性。
- 优势函数估计的改进：虽然 GSPO 采用了组内相对奖励，但探索更精确、更高效的序列级别优势估计方法仍然是一个有价值的方向。例如，如何更好地处理奖励稀疏性或延迟奖励的问题。
- 裁剪机制与目标函数的优化：研究更自适应的序列级别裁剪策略，以及探索新的序列级别优化目标函数，以进一步提升训练效率和稳定性。
GSPO 在更广泛场景下的应用与验证：
- 多模态任务：将 GSPO 的序列级优化思想扩展到多模态大模型的强化学习中，例如处理包含文本、图像、音频等多种信息的序列数据。
- 更复杂的决策任务：在需要多轮对话、复杂规划或与环境交互更频繁的任务中，验证 GSPO 的有效性。
- 不同模型架构的适配：虽然 GSPO 在 MoE 模型上表现优异，但可以进一步研究其在其他新兴模型架构（如状态空间模型、递归模型等）上的适用性和潜在改进。
与其它技术的结合：
- 离线强化学习：探索如何将 GSPO 与离线强化学习技术相结合，以更有效地利用历史数据，减少对昂贵在线交互的依赖。
- 课程学习与自博弈：研究如何将 GSPO 与课程学习或自博弈（self-play）等策略相结合，以逐步提升模型的性能和泛化能力。
- 可解释性与安全性：在 GSPO 框架下，开发更具可解释性的强化学习方法，并加强对齐技术的研究，以确保模型行为的安全性和符合人类价值观。
GRPO 的改进方向：
- 尽管 GSPO 优势明显，但对于资源极度受限的场景，GRPO 仍有其价值。未来的研究可以尝试改进 GRPO 的稳定性，例如通过更鲁棒的 token 级别重要性权重设计、更有效的优势归一化方法或针对特定偏见的修正机制。
- 探索 GRPO 与 GSPO 的混合方法，例如在序列的某些关键部分采用更细粒度的 token 级别优化，而在整体上保持序列级别的稳定性。

总而言之，GSPO 的出现为大型语言模型的强化学习开辟了新的道路，其序列级优化的核心理念为解决现有挑战提供了有力的工具。未来的研究将继续围绕提升算法效率、稳定性、泛化能力以及与更多先进技术的融合展开，以期构建出更强大、更可靠的人工智能系统。