BTCC / BTCC Square / PanewslabTW /
PrismML發布Bonsai 27B,270億參數AI模型首次適配iPhone

PrismML發布Bonsai 27B,270億參數AI模型首次適配iPhone

PanewslabTW
發佈時間:
2026-07-16 01:32:00
0
PANews 7月16日消息,根據Decrypt報道,PrismML發布Bonsai 27B模型,這是首個能夠在消費級智慧型手機上運行的270億參數AI模型。 模型壓縮至3.9GB,可在iPhone 17 Pro Max上以每秒11個token的速度運作。 三進位變體壓縮至5.9GB,在M5 Pro筆記本上達到每秒26個token。 壓縮技術基於加州理工學院智慧財產權,將每個模型權重從16位元浮點精度降至僅正1或負1,二進位變體比全精度模型小14倍。 在15項基準測試中,三進位Bonsai 27B平均得分80.49,達到全精度模型94.6%的效能。 該模型以Apache 2.0許可證免費發布。
本站轉載文章皆來自公開網絡,部分由AI整理,僅為傳遞產業訊息,不代表BTCC立場。原創權益歸原作者所有。如發現版權問題,請透過[email protected]聯絡我們,我們將依法處理。 BTCC不對資訊準確性、時效性及完整性作任何保證,不承擔因依賴資訊而產生的任何責任。內容僅供參考,不構成投資、法律或商業建議。