Hugging Face представила модели для структурированных решений
Hugging Face опубликовала обзор моделей решений — подхода для приложений, которым нужны структурированные варианты выбора, а не сгенерированный текст. Получая состояние, набор вопросов и заранее определённые ответы, такая модель возвращает решения вместе с распределениями вероятностей. В статье интерфейс описан формулой «Состояние + Вопросы + Допустимые ответы → Решения + Вероятности».
В публикации модели решений сравниваются с обычной классификацией и классификацией без дополнительного обучения. У традиционного классификатора классы заранее закреплены, тогда как при zero-shot-подходе возможные метки передаются во время выполнения. Модели решений поддерживают несколько именованных вопросов и разные типы ответов. Примитив Choice выбирает один из вариантов, Score оценивает упорядоченную шкалу через математическое ожидание распределения, а Noul показывает вероятность истинности утверждения с ответом «да» или «нет».
Авторы отмечают, что прямой выбор из известных вариантов может избавить от ненужной авторегрессионной генерации и части проблем со схемой, возникающих при запросе к LLM на создание JSON. В примере используется decision pipeline из Transformers и модель autotrust/GEV-26B-Decide для определения отдела, срочности и запроса на возврат средств в обращении клиента. Для Choice и Score также может возвращаться показатель уверенности, отражающий концентрацию распределения.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.