Needle 2 пренася извикването на инструменти върху 14MB устройства
Cactus Compute представи Needle 2 — отворен модел с 45 милиона параметъра за извикване на инструменти, управление на устройства и структурирано извличане на данни. Целият модел се доставя като един двоичен файл от 14MB и използва около 28MB оперативна памет за пълна сесия. Теглата са квантувани в CQ2-bit, а собственият C++ енджин премахва нуждата от отделен runtime или изтегляне при извеждане.
Компанията съобщава за 500 токена в секунда на Raspberry Pi 5, 400–1 500 на Meta Quest 3S и Apple Vision Pro и 300–700 на телефони под $200. Предварително компилирани двоични файлове и статична библиотека се предлагат за macOS, Linux, Windows, Android, платформите на Apple за мобилни и носими устройства и WebAssembly.
Needle 2 използва 27-слойна Simple Attention Network с GQA, Hadamard MLP, памет от хеширани n-грамови таблици и многоканални хипервръзки. Граматиката ограничава изхода до валидни JSON схеми, а механизмът за извличане допуска най-много пет инструмента. При тестовете на Cactus моделът оглавява двата варианта на Seal-Tools и достига 98,3% точност за имената на функциите в Mobile Actions, но изостава от по-големи модели в BFCL v4.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.