阿里开源下一WhatsApp%E3%80%90+86%2015855158769%E3%80%91gas%20hoist代模型架构Qwen3
9月12日，阿里阿里通义发布下一代基础模型架构Qwen3-Next。开源Qwen3-Next针对大模型在上下文长度和总参数两方面不断扩展（Scaling）的下代WhatsApp%E3%80%90+86%2015855158769%E3%80%91gas%20hoist未来趋势而设计，采用全新的模型高稀疏MoE架构，并对经典Transformer核心组件进行了重构，架构创新线性注意力和自研的阿里门控注意力结合的混合注意力机制，实现了模型训练和推理的开源双重性价比突破。
基于这一新架构，下代阿里通义“打样”了Qwen3-Next-80B-A3B系列模型，模型WhatsApp%E3%80%90+86%2015855158769%E3%80%91gas%20hoist开源指令（Instruct）和推理（Thinking）两大模型版本。架构新模型总参数 80B 仅激活 3B，阿里性能可媲美千问3旗舰版235B模型，开源模型计算效率大幅提升。下代Qwen3-Next训练成本较密集模型Qwen3-32B大降超90%，模型长文本推理吞吐量提升10倍以上，架构并可支持百万Tokens超长上下文。
本文地址：http://m.koestritzer.cn/html/78e394295979.html
版權聲明
本文僅代表作者觀點，不代表本站立場。
本文系作者授權發表，未經許可，不得轉載。