Fastino випустила 340M модель для структурованих рішень
Fastino Labs випустила GLiNER2.5-Decide — модель із 340M параметрів і відкритими вагами для операційних рішень в агентських AI-конвеєрах. Вона отримує текст і схему типізованих запитань, а повертає структуровані відповіді, розподіл імовірностей, оцінку впевненості та метадані про виконуваність обмежень. Ваги доступні за ліцензією Apache 2.0. Модель працює на CPU і GPU, зокрема в ізольованих середовищах без доступу до мережі. Через GLiNER API Fastino також надає хостинг інференсу та донавчання.
GLiNER2.5-Decide є негenerative класифікатором на основі енкодера DeBERTa-v3-large. Схема може визначати дозволені відповіді, одинарний або множинний вибір, впорядковані значення, приклади, описи та правила зв’язків між запитаннями. Обмежений декодер обирає найімовірнішу спільну комбінацію, що відповідає залежностям, виключенням і лімітам кількості. Fastino орієнтує модель на маршрутизацію, тріаж, вибір інструментів і захисні механізми, а не на міркування чи відповіді на відкриті запитання.
На внутрішньому відкладеному наборі Fast Decisions із 5 100 прикладів і 17 датасетів модель отримала в середньому 60,1% точності exact match та очолила 9 наборів. Для визначення намірів у підтримці результат становив 75,3%, а для банківських намірів — 64,3%. У тесті batch 1 на коротких входах p50-затримка склала 167,3 мс на 48-vCPU Intel Xeon Platinum 8581C і 38,3 мс на NVIDIA V100.
Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.