本地大模型應圍繞標準化顯存檔位設計,Vitalik 建議以 96GB 為上限
0
PANews 5月28日訊息,以太坊聯合創始人 Vitalik Buterin 在回覆討論時表示,本地運行大模型在內存與顯存配置上應圍繞若干標準化“檔位”設計,96GB 是當前本地可行的上限之一。 他提到,RTX 6000 拥有 96GB 显存,高端 MacBook 与部分 AMD 笔电有 128GB 统一内存,而需预留约 32GB 给其他任务。 Vitalik 建議整個本地 LLM 與 GPU 生態圍繞 2GB、8GB、24GB、96GB、256GB、1TB 等少數容量標準統一硬體與模型設計,以提升部署效率和相容性。
來源:
登入回覆
登入分享您的看法評論
相關文章
|Square
下載BTCC APP,您的加密之旅從這啟程
立即行動 掃描 加入我們的 100M+ 用戶行列