Qwen3-Next：新一代超高效模型架构详解
阿里巴巴推出的革命性大语言模型架构，实现前所未有的计算效率
info 模型概述
Qwen3-Next是阿里巴巴推出的新一代超高效模型架构，专为长上下文理解、大规模参数和前所未有的计算效率而优化。首款采用此架构的模型Qwen3-Next-80B-A3B-Base是一个800亿参数的模型，但在推理过程中仅激活30亿参数。
80B
总参数量
3B
激活参数量
256K
原生上下文窗口
1M
可扩展上下文
architecture 架构创新
Qwen3-Next通过一系列架构创新实现了卓越性能与计算效率的平衡：
- 混合注意力机制：用Gated DeltaNet和Gated Attention的组合替代标准注意力，增强上下文学习能力同时提高计算效率
- 超稀疏MoE设计：每次推理步骤只激活3.7%的参数（80B中的3B. ，大大降低计算成本而不牺牲模型质量✅
- 多令牌预测（MTP）：提升模型性能和推理效率
- 训练稳定性友好的优化：使大规模模型运行更顺畅
输入
→
混合注意力
→
超稀疏MoE
→
多令牌预测
→
输出
code 技术细节
Qwen3-Next在模型架构上实现了多项重大技术突破：
- Gated DeltaNet：一种新型的线性注意力变体，通过门控机制控制信息流，有效处理长序列依赖关系
- Gated Attention：改进的注意力机制，通过门控单元增强模型对重要信息的捕捉能力
- 线性注意力：降低传统注意力机制的二次方复杂度，使模型能够高效处理超长序列
- 注意力门：进一步优化注意力计算，减少不必要的计算开销
# 混合注意力机制示例代码
class HybridAttention(nn.Module):
def __init__(self, config):
super().__init__()
self.gated_delta_net = GatedDeltaNet(config)
self.gated_attention = GatedAttention(config)
self.gate = nn.Linear(config.hidden_size, 1)
def forward(self, hidden_states, attention_mask=None):
delta_output = self.gated_delta_net(hidden_states)
attn_output = self.gated_attention(hidden_states, attention_mask)
gate_value = torch.sigmoid(self.gate(hidden_states))
return gate_value * delta_output + (1 – gate_value) * attn_output
class HybridAttention(nn.Module):
def __init__(self, config):
super().__init__()
self.gated_delta_net = GatedDeltaNet(config)
self.gated_attention = GatedAttention(config)
self.gate = nn.Linear(config.hidden_size, 1)
def forward(self, hidden_states, attention_mask=None):
delta_output = self.gated_delta_net(hidden_states)
attn_output = self.gated_attention(hidden_states, attention_mask)
gate_value = torch.sigmoid(self.gate(hidden_states))
return gate_value * delta_output + (1 – gate_value) * attn_output
speed 性能优势
Qwen3-Next在训练和推理方面展现出显著的效率优势：
- Qwen3-Next-80B-A3B-Base超越了密集的Qwen3-32B模型，但训练成本不到10%（以GPU小时计）
- 在处理超过32K令牌的上下文长度时，推理吞吐量比Qwen3-32B高出10倍以上
- Qwen3-Next-80B-A3B-Instruct模型与阿里巴巴的旗舰模型Qwen3-235B-A22B-Instruct-2507性能相当
- Qwen3-Next-80B-A3B-Thinking模型在复杂推理任务上表现出色，在多个基准测试中优于领先的闭源思考模型
<10%
训练成本对比
10x+
推理吞吐量提升
apps 应用场景
Qwen3-Next的高效架构使其特别适合以下应用场景：
- 超长文档处理：原生支持256K令牌的上下文窗口，可扩展至100万令牌，适合处理长篇学术论文、法律文档等
- 复杂推理任务：Thinking模式专为复杂逻辑推理、数学证明和代码生成等任务优化
- 高效对话系统：Instruct模式提供快速响应，适合实时对话应用
- 资源受限环境：超稀疏激活机制使其能够在消费级硬件上高效运行