Needle 2 запускает вызов инструментов на устройствах с 14 МБ памяти
Компания Cactus Compute выпустила открытый Needle 2 — модель на 45 млн параметров для вызова инструментов, управления устройствами и структурированного извлечения данных. Вся модель поставляется в одном бинарном файле размером 14 МБ и использует около 28 МБ оперативной памяти за полный сеанс. Веса представлены в формате CQ2-bit, а собственный движок на C++ избавляет от установки отдельной среды выполнения и загрузки данных во время инференса.
По данным Cactus, скорость декодирования достигает 500 токенов в секунду на Raspberry Pi 5, 400–1 500 на Meta Quest 3S и Apple Vision Pro и 300–700 на смартфонах дешевле $200. Готовые бинарные файлы и статическая библиотека поддерживают macOS, Linux, Windows, Android, мобильные и носимые платформы Apple, а также WebAssembly.
Needle 2 построена на 27-слойной Simple Attention Network шириной 512. Архитектура включает GQA, Hadamard MLP, память из хешированных n-грамм и многоканальные гиперсвязи. Грамматика ограничивает вывод допустимыми JSON-схемами, а механизм извлечения оставляет для модели не более пяти инструментов. В тестах Cactus модель возглавила оба раздела Seal-Tools и получила 98,3% точности имён функций в Mobile Actions, но уступила более крупным моделям в BFCL v4.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.