Needle 2 забезпечує виклик інструментів на пристроях із 14 МБ пам’яті
Cactus Compute випустила відкриту модель Needle 2 із 45 мільйонами параметрів для виклику інструментів, керування пристроями та структурованого вилучення даних. Уся модель постачається одним бінарним файлом розміром 14 МБ і використовує близько 28 МБ оперативної пам’яті протягом повної сесії. Ваги працюють у форматі CQ2-bit, а власний рушій на C++ усуває потребу встановлювати окреме середовище виконання чи завантажувати дані під час інференсу.
За даними Cactus, швидкість декодування становить 500 токенів за секунду на Raspberry Pi 5, 400–1 500 на Meta Quest 3S і Apple Vision Pro та 300–700 на смартфонах вартістю до $200. Готові бінарні файли й статична бібліотека підтримують macOS, Linux, Windows, Android, мобільні та носимі платформи Apple, а також WebAssembly.
Needle 2 використовує 27-шарову Simple Attention Network із шириною 512, GQA, Hadamard MLP, пам’яттю на основі хешованих n-грам і багатоканальними гіперзв’язками. Граматика обмежує результат дійсними JSON-схемами, а пошук залишає моделі не більш як п’ять інструментів. У тестах Cactus модель очолила обидва розділи Seal-Tools і показала 98,3% точності назв функцій у Mobile Actions, але поступилася більшим моделям у BFCL v4.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.