Sakhanda Wire
NVDA $152.18 -2.54% MSFT $505.66 -2.38% GOOGL $279.68 -1.43% META $617.65 -1.40% AMZN $256.02 -0.67%
← К новостям

Needle 2 запускает вызов инструментов на устройствах с 14 МБ памяти

Компания Cactus Compute выпустила открытый Needle 2 — модель на 45 млн параметров для вызова инструментов, управления устройствами и структурированного извлечения данных. Вся модель поставляется в одном бинарном файле размером 14 МБ и использует около 28 МБ оперативной памяти за полный сеанс. Веса представлены в формате CQ2-bit, а собственный движок на C++ избавляет от установки отдельной среды выполнения и загрузки данных во время инференса.

По данным Cactus, скорость декодирования достигает 500 токенов в секунду на Raspberry Pi 5, 400–1 500 на Meta Quest 3S и Apple Vision Pro и 300–700 на смартфонах дешевле $200. Готовые бинарные файлы и статическая библиотека поддерживают macOS, Linux, Windows, Android, мобильные и носимые платформы Apple, а также WebAssembly.

Needle 2 построена на 27-слойной Simple Attention Network шириной 512. Архитектура включает GQA, Hadamard MLP, память из хешированных n-грамм и многоканальные гиперсвязи. Грамматика ограничивает вывод допустимыми JSON-схемами, а механизм извлечения оставляет для модели не более пяти инструментов. В тестах Cactus модель возглавила оба раздела Seal-Tools и получила 98,3% точности имён функций в Mobile Actions, но уступила более крупным моделям в BFCL v4.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости