Fastino представи 340M модел за структурирани решения
Fastino Labs представи GLiNER2.5-Decide — модел с 340M параметъра и отворени тегла за оперативни решения в AI агентски системи. Той приема текст и схема от типизирани въпроси, след което връща структурирани отговори с вероятностно разпределение, оценка на увереността и метаданни за изпълнимост на ограниченията. Теглата са под лиценз Apache 2.0, моделът работи на CPU и GPU и може да се използва в изолирани мрежи. Fastino предлага и хоствано извеждане и дообучаване чрез GLiNER API.
GLiNER2.5-Decide е негenerативен класификатор, изграден върху енкодера DeBERTa-v3-large. Схемите могат да задават допустими отговори, единичен или множествен избор, подредени стойности, примери, описания и правила между въпросите. Ограниченият декодер избира най-високо оценената съвместна комбинация, която спазва зададените зависимости, изключвания и лимити за броя отговори. Моделът е насочен към маршрутизиране, триаж, избор на инструменти и защитни механизми, а не към обяснения или отговори на отворени въпроси.
Във вътрешния тест Fast Decisions, включващ 5100 примера в 17 набора от данни, моделът постига средно 60,1% точност по метриката exact match и води в 9 набора. Резултатите му са 75,3% при подбора на потребителски намерения за поддръжка и 64,3% при банкови намерения. При кратки входове и batch 1 отчетената p50 латентност е 167,3 ms на 48-vCPU Intel Xeon Platinum 8581C и 38,3 ms на NVIDIA V100.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на MarkTechPost. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.