阿里开源新架构Qwen3-Next，模型训练成本降9成，长文本推理吞吐提升10倍

9月12日，阿里通义发布下一代基础模型架构Qwen3-Next，并“打样”开源 Qwen3-Next系列模型，总参数80B仅激活 3B ，性能就可媲美千问3旗舰版235B模型，实现模型计算效率的重大突破。基于这一架构创新，Qwen3-Next模型训练成本较密集模型Qwen3-32B大降超90%，长文本推理吞吐量提升10倍以上，为未来大模型的训练和推理的效率设立了全新标准。

Qwen3-Next针对大模型在上下文长度和总参数两方面不断扩展（Scaling）的未来趋势而设计，模型结构相较4月底推出的Qwen3的MoE模型，新增采用了多种新技术并进行了核心改进，包括混合注意力机制、高稀疏度 MoE 结构、一系列训练稳定友好的优化，以及提升推理效率的多 token 预测（MTP）机制等。

基于Qwen3-Next 新架构，通义团队现开源了Qwen3-Next-80B-A3B的指令（Insctruct）模型和推理（Thinking）模型。新模型预训练在Qwen3预训练数据的子集15T tokens上进行，仅需 Qwen3-32B 的 9.3% 的 GPU 计算资源，便训练出性能更好的Qwen3-Next-Base基座模型，大幅提升了训练效率；而后又在强化学习训练中解决了长期存在的稳定性与效率难题，实现模型性能的新飞跃。

图说：Qwen3-Next-80B-A3B-Instruct性能评测图（受访者供图）

在编程（LiveCodeBench v6）、人类偏好对齐(Arena-Hard v2)以及综合性能力(LiveBench)评测中，Qwen3-Next-Instruct表现甚至超过了“开源王者”旗舰模型Qwen3-235B-A22B-Instruct-2507，并在包含通用知识（SuperGPQA）、数学推理（AIME25）等核心测评中全面超越了SOTA密集模型Qwen3-32B；Qwen3-Next-Thinking则全面超越了Gemini2.5-Flash-Thinking，在数学推理AIME25评测中斩获惊人的87.8分。而达到如此高水平的模型性能，仅需激活Qwen3-Next总参数80B中的3B。

高稀疏MoE架构是Qwen3-Next面向下一代模型的最新探索。当前，MoE混合专家架构是主流大模型都采用的架构，它通过激活大参数中的小部分专家完成推理任务，计算开销更小，反应速度更快。此前，Qwen3系列的MoE专家激活比约为1比16，Qwen3-Next通过更精密的高稀疏MoE架构设计，实现了1比50的极致激活比，创下业界新高。