DeepSeek新模型MODEL1代碼曝光,疑為全新架構
19
3
PANews 1月21日消息,據量子位報導,DEEPSeek在GitHub更新的FlashMLA代碼中首次出現“MODEL1”名稱,覆蓋114個文件中28處提及,且與現有版本V32(DeepSeek-V3.2)並列,暗示MODEL1為下一代新架構模型。 代碼差異顯示該模型在KV緩存佈局、稀疏性處理及FP8解碼等方面進行了優化,或將在春節前後正式發布。 結合近期公開的mHC殘差連接機制與Engram記憶模塊,MODEL1有望整合多項自研創新。
來源: