Fastino выпустила 340M-модель для структурированных решений
Fastino Labs выпустила GLiNER2.5-Decide — модель с 340M параметров и открытыми весами для операционных решений в агентских AI-конвейерах. Она получает текст и схему типизированных вопросов, а затем возвращает структурированные ответы, распределение вероятностей, оценку уверенности и метаданные о выполнимости ограничений. Веса распространяются по лицензии Apache 2.0; модель работает на CPU и GPU, включая изолированные среды без доступа к сети. Через GLiNER API также доступны размещённый инференс и дообучение.
GLiNER2.5-Decide является негenerative классификатором на основе энкодера DeBERTa-v3-large. Схема задаёт допустимые ответы, одиночный или множественный выбор, упорядоченные значения, примеры, описания и связи между вопросами. Ограниченный декодер выбирает наиболее вероятную совместную комбинацию, соответствующую правилам, включая зависимости, исключения и ограничения количества ответов. Fastino позиционирует модель для маршрутизации, триажа, выбора инструментов и защитных механизмов, а не для рассуждений или ответов на открытые вопросы.
На внутреннем отложенном наборе Fast Decisions из 5 100 примеров и 17 датасетов модель получила в среднем 60,1% точности exact match и стала лучшей в 9 наборах. Для определения намерений в поддержке результат составил 75,3%, для банковских намерений — 64,3%. В тесте batch 1 на коротких входах p50-задержка составила 167,3 мс на 48-vCPU Intel Xeon Platinum 8581C и 38,3 мс на NVIDIA V100.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.