PrismML hat Bonsai 27B veröffentlicht, ein 27-Milliarden-Parameter-KI-Modell, das auf Consumer-Smartphones, einschließlich iPhones, ausgeführt werden kann. Das Modell benötigt ungefähr 3,9 GB Speicher, um ausgeführt zu werden, was erheblich weniger ist als die 54 GB, die für ein Standard-27-Milliarden-Parameter-Modell benötigt werden.
Die Komprimierungsmethode, die zur Erreichung dieser Größenreduzierung verwendet wird, beinhaltet die Reduzierung jedes Modellgewichts von 16 Bit Floating-Point-Genauigkeit auf ein einzelnes Vorzeichen, entweder +1 oder -1 im binären Build oder einen von drei Werten im ternären.
Modellleistung
Bonsai 27B wurde auf 15 Benchmarks ausgewertet und erreicht im Durchschnitt 80,49, oder 94,6% des vollpräzisen Modells. Das Modell zeigt auch eine gute Leistung bei Aufgaben wie Codierung und allgemeinem Wissen, mit 86 Punkten in der Cod