PrismML выпустила тернарную модель Qwen3.8 27B размером 5,93 ГБ
PrismML выпустила Ternary Bonsai 2 27B — версию Qwen3.8 27B с тернарными весами и лицензией Apache 2.0. Языковая модель занимает 5,93 ГБ против 53,80 ГБ у варианта FP16. Она работает с текстом и изображениями, поддерживает контекст длиной 262K токенов и, по данным PrismML, сохраняет 98,2% среднего результата исходной модели в 20 тестах.
Модель содержит 27,36 млрд параметров и сохраняет архитектуру Qwen3.8 27B, включая гибридный механизм внимания. Каждое тернарное значение равно -1, 0 или +1. Зрительная башня поставляется отдельным файлом размером 0,63 ГБ и загружается при обработке изображений. Веса можно запускать на ноутбуке с 16 ГБ памяти или одном GPU на 24 ГБ, однако требуются форк llama.cpp от PrismML либо среда MLX.
Совокупный результат составил 83,9 против 85,4 у Qwen3.8 27B. При этом на Terminal-Bench 2.1 модель набрала 52,8 балла против 69,7, что указывает на более заметное отставание в длительных агентных задачах. PrismML сообщила о скорости 142,5 токена в секунду на RTX 5090. Результаты получены самой компанией и пока не воспроизведены независимо.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.