PrismML выпустила тернарные модели Bonsai 2 на базе Qwen3.5 весом от 0,43 ГБ
Три модели на 2, 4 и 9 млрд параметров поддерживают рассуждения, работу с изображениями и вызов инструментов. На iPhone 18 Pro Max младшая выдаёт до 120 токенов в секунду.
15 октября PrismML расширила семейство Bonsai 2 тремя тернарными моделями на 2, 4 и 9 млрд параметров. Все они построены на Qwen3.5 и поддерживают рассуждения, понимание изображений и вызов инструментов. Ранее в семействе уже вышла Bonsai 2 27B, так что теперь линейка состоит из четырёх моделей.
Веса в тернарных моделях кодируются всего тремя значениями: −1, 0 и +1. Файлы занимают 0,43, 0,95 и 2 ГБ, что более чем в девять раз меньше полноточных версий. По данным PrismML, на 19 бенчмарках 9B-версия сохраняет 92,4% качества Qwen3.5 9B в агентных задачах и 98,2% в математике.
На RTX 4090 и M5 Pro модели дают до пяти раз больше пропускной способности, чем полноточные аналоги, и до трёх раз лучшую энергоэффективность. На iPhone 18 Pro Max Bonsai 2 9B выдаёт до 34 токенов в секунду, а Bonsai 2 2B разгоняется до 120. Эти замеры тоже приводит сама PrismML.
Веса опубликованы под лицензией Apache 2.0. На GPU NVIDIA модели запускаются через llama.cpp, на устройствах Apple через MLX.
В сентябре на Snapdragon Summit PrismML показывала 1-битную модель Bonsai на умных очках с Snapdragon AR1 Gen 1. Компанию основали исследователи Caltech, её поддерживают Khosla Ventures, Cerberus и Google.