Marvell發表新一代AI記憶體基礎設施方案組合提升Token效率
0
PANews 8月4日消息,數據基礎設施半導體巨頭Marvell Technology宣布推出面向AI基礎設施的新一代內存解決方案組合,覆蓋服務器級AI存儲、機架級CXL內存擴展與池化,以及多機櫃光互聯共享內存,旨在解決Agentic AI推理過程中日益增長的內存容量和帶寬瓶頸。 Marvell表示,隨著AI模型規模擴大、上下文視窗延長以及KV Cache需求成長,傳統運算與記憶體緊密耦合架構正限制AI推理效率。 透過記憶體解耦(memory disaggregation),可以讓記憶體資源更加獨立於運算資源擴展,提高GPU利用率並降低資料移動延遲。
來源:
登入回覆
登入分享您的看法評論
相關文章