PrismML ha lanzado Bonsai 27B, un modelo de inteligencia artificial de 27 mil millones de parámetros que puede ejecutarse en teléfonos inteligentes para consumidores, incluyendo iPhones. El modelo requiere aproximadamente 3.9 GB de memoria para ejecutarse, significativamente menos que los 54 GB necesarios para un modelo estándar de 27 mil millones de parámetros.
El método de compresión utilizado para lograr esta reducción de tamaño implica reducir cada peso del modelo de 16 bits de precisión de punto flotante a una sola señal, ya sea +1 o -1 en la versión binaria, o uno de tres valores en la ternaria.
Rendimiento del modelo
Bonsai 27B ha sido evaluado en 15 benchmarks y promedia 80.49, o el 94.6% del modelo de precisión completa. El modelo también se desempeña bien en tareas como codificación y conocimiento general, obteniendo 86 puntos en codificación y el 77% en conocimiento general.
Interés comercial
El CEO de PrismML, Babak Hassibi, ha