PrismML, 27 milyar parametreli bir AI modeli olan Bonsai 27B’yi yayınladı, bu model tüketici akıllı telefonlarında, iPhone’lar dahil çalışabilen bir modeldir. Modelin çalışması için yaklaşık 3.9 GB bellek gerekir, bu da standart bir 27 milyar parametreli model için gereken 54 GB’dan önemli ölçüde daha azdır.
Bu boyut azaltımını gerçekleştirmek için kullanılan sıkıştırma yöntemi, her model ağırlığını 16 bitlik kayan nokta doğruluğundan +1 veya -1’in bir işareti olan ikili derlemeye veya üç değerden birine indirgemeyi içerir.
Model Performansı
Bonsai 27B, 15 benchmarkte değerlendirilmiş ve ortalama 80.49 puan almış veya tam doğruluklu modelin %94.6’sına ulaşmıştır. Model, kodlama ve genel bilgi gibi görevlerde de iyi performans gösterir, kodlamada 86 puan ve genel bilgide %77 oranında skor elde eder.
Ticari İlgi
PrismML CEO’su Babak Hassibi, şirketin Apple ile erken görüş