PrismML은 27억개의 매개변수를 갖는 AI 모델인 Bonsai 27B를 출시했습니다. 이 모델은 소비자용 스마트폰,包括 아이폰에서 실행할 수 있습니다. 모델을 실행하려면 약 3.9 GB의 메모리가 필요합니다. 이는 표준 27억개의 매개변수를 갖는 모델에 필요한 54 GB보다 훨씬 적습니다.
이 크기 감소를 달성하기 위한 압축 방법에는 모델의 각 가중치를 16비트 浮動小数点 정밀도에서 이진 빌드의 +1 또는 -1인 단일 부호 또는 삼진법의 세 가지 값 중 하나로 줄이는 것이 포함됩니다.
모델 성능
Bonsai 27B는 15개의 벤치마크에서 평가되었으며 평균 80.49, 또는 정밀도 전체 모델의 94.6%를 기록했습니다. 모델은 또한 코딩 및 일반 지식과 같은 작업에서 잘 수행되며, 코딩에서 86점, 일반 지식에서 77%를 기록했습니다.
상업적 관심
PrismML의 CEO인 Babak Hassibi는