PrismML發布Bonsai 27B,270億參數AI模型首次適配iPhone
0
PANews 7月16日消息,根據Decrypt報道,PrismML發布Bonsai 27B模型,這是首個能夠在消費級智慧型手機上運行的270億參數AI模型。 模型壓縮至3.9GB,可在iPhone 17 Pro Max上以每秒11個token的速度運作。 三進位變體壓縮至5.9GB,在M5 Pro筆記本上達到每秒26個token。 壓縮技術基於加州理工學院智慧財產權,將每個模型權重從16位元浮點精度降至僅正1或負1,二進位變體比全精度模型小14倍。 在15項基準測試中,三進位Bonsai 27B平均得分80.49,達到全精度模型94.6%的效能。 該模型以Apache 2.0許可證免費發布。
來源:
登入回覆
登入分享您的看法評論
相關文章