阿里巴巴推出更高效的Qwen3-Next人工智能模型
0
金色財經報導，阿里巴巴旗下通義千問發布了下一代基礎模型架構Qwen3-Next，並開源了基於該架構的Qwen3-Next-80B-A3B系列模型。 該結構相比Qwen3的MoE模型結構,進行了以下核心改進：混合注意力機制、高稀疏度MoE結構、一系列訓練穩定友好的優化，以及提升推理效率的多token預測機制。 基於Qwen3-Next的模型結構，阿里訓練了Qwen3-Next-80B-A3B-Base模型，該模型擁有800億參數僅激活30億參數。 該Base模型實現了與Qwen3-32B dense模型相近甚至略好的性能，而它的訓練成本(GPU hours) 僅為Qwen3-32B的十分之一不到，在32k以上的上下文下的推理吞吐則是Qwen3-32B的十倍以上，實現了極致的訓練和推理性價比。
來源:
登入回覆
登入分享您的看法評論
相關文章