Sakhanda Wire
NVDA $153.78 -1.51% MSFT $504.71 -2.56% GOOGL $279.10 -1.63% META $617.85 -1.37% AMZN $256.64 -0.43%
← До новин

PrismML випустила тернарну модель Qwen3.8 27B розміром 5,93 ГБ

PrismML випустила Ternary Bonsai 2 27B — версію Qwen3.8 27B із тернарними вагами та ліцензією Apache 2.0. Мовна модель займає 5,93 ГБ, тоді як варіант у FP16 потребує 53,80 ГБ. Вона працює з текстом і зображеннями, підтримує контекст на 262K токенів і, за даними PrismML, зберігає 98,2% середнього результату батьківської моделі у 20 тестах.

Модель має 27,36 млрд параметрів і не змінює архітектуру Qwen3.8 27B, зокрема гібридну систему уваги. Кожне тернарне значення дорівнює -1, 0 або +1. Візуальна частина постачається окремим файлом на 0,63 ГБ і завантажується під час роботи із зображеннями. Ваги можна запускати на ноутбуці з 16 ГБ пам’яті або одному GPU на 24 ГБ, але потрібні форк llama.cpp від PrismML чи середовище MLX.

Загальний результат становив 83,9 бала проти 85,4 у Qwen3.8 27B. На Terminal-Bench 2.1 модель набрала 52,8 бала проти 69,7, тобто довгі агентні завдання залишаються слабшим напрямом. PrismML заявила про швидкість 142,5 токена за секунду на RTX 5090. Усі результати отримала сама компанія, і їх незалежно не відтворювали.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини