PrismMLは、iPhoneを含む消費者向けスマートフォンで実行できる27億パラメータのAIモデルであるBonsai 27Bをリリースしました。モデルを実行するには約3.9 GBのメモリが必要で、標準の27億パラメータモデルに必要な54 GBよりも大幅に少なくなっています。
このサイズの削減を実現するために使用される圧縮方法には、モデル重みを16ビットの浮動小数点精度から、バイナリビルドの場合に+1または-1の単一の符号、またはテナリの場合に3つの値のいずれかに削減することが含まれます。
モデル性能
Bonsai 27Bは15のベンチマークで評価され、平均80.49、またはフル精度モデルの94.6%を達成しています。モデルは、コーディングや一般知識などのタスクでも良好な性能を発揮し、コーディングでは86点、一般知識では77%を獲得しています。