中國電信基於華為晶片與MoE架構開發首個國產AI模型
13
3
中國電信近日發布了國內首個基於專家混合(MoE)架構的人工智慧模型,該模型完全使用華為昇騰910B晶片進行訓練。 TeleChat3模型的參數規模從1050億到數兆不等,並採用華為的MindSpore框架,這標誌著中國在AI基礎設施自主化進程中的重要里程碑。
MoE架構由深度求索(DEEPSeek)的V3模型於2024年底推廣普及,能夠在不按比例增加計算成本的情況下實現可擴展的容量。 雖然中國電信的模型在性能上仍落後於OpenAI的GPT-OSS-120B,但此成就顯示了國內AI開發技術日益成熟。 該項目解決了中國計算生態系統中大規模模型訓練的關鍵瓶頸問題。
來源: