PrismML 发布了 Bonsai 27B，一种可以在消费者智能手机（包括 iPhones）上运行的 27 亿参数 AI 模型。该模型大约需要 3.9 GB 的内存来运行，远远小于标准 27 亿参数模型所需的 54 GB。
实现此大小减少的压缩方法涉及将每个模型权重从 16 位浮点精度减少到二进制构建中的单个符号，即 +1 或 -1，或者在三元中为三个值之一。
模型性能
Bonsai 27B 已在 15 个基准测试中进行了评估，平均得分为 80.49，或全精度模型的 94.6%。该模型在编码和常识等任务中也表现良好，编码得分为 86 分，常识得分为 77%。
商业兴趣
PrismML CEO Babak Hassibi 确认，该公司正在与 Apple 进行初步谈判，后者正在评估压缩技术以进行潜在的设备内使用。压缩的