PrismML выпустила Bonsai 27B, модель ИИ с 27 миллиардами параметров, которая может работать на потребительских смартфонах, включая iPhones. Модель требует примерно 3,9 ГБ памяти для работы, что значительно меньше, чем 54 ГБ, необходимые для стандартной модели с 27 миллиардами параметров.
Метод сжатия, используемый для достижения этого уменьшения размера, включает уменьшение каждого веса модели с 16 бит浮точной точности до одного знака, либо +1, либо -1 в двоичной сборке, или одного из трех значений в тернарной.
Модель производительности
Bonsai 27B была оценена на 15 тестах и в среднем показывает 80,49, или 94,6% от модели полной точности. Модель также хорошо работает на задачах, таких как кодирование и общее знание, набирая 86 баллов за кодирование и 77% за общее знание.
Коммерческий интерес
Генеральный директор PrismML