Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← К новостям

AnyJev превращает открытые LLM в калибрированные модели решений

Исследовательская команда Nokia выпустила AnyJev — библиотеку Python под лицензией Apache-2.0, которая без дополнительного обучения превращает открытую большую языковую модель в типизированную модель принятия решений. Она рассчитана на задачи, где нужно выбрать один вариант из фиксированного набора, а не сформировать текст. Пакет доступен через PyPI и поддерживает бэкенды Hugging Face Transformers и vLLM с обработкой общего префикса.

AnyJev поддерживает вопросы с вариантами ответа, вопросы «да или нет» и оценку по упорядоченным диапазонам. Режим L0 показывает варианты во всех циклических перестановках и объединяет результаты, уменьшая влияние позиции в списке. Он также корректирует исходные предпочтения модели после накопления восьми примеров. Режим L1 добавляет температурное масштабирование, рассчитанное по 100–500 размеченным примерам. Ответ не генерируется и не разбирается: вероятность берётся из распределения следующего токена.

В тесте BANKING77 на Qwen3-8B с 20 вариантами частота смены ответа при перестановке вариантов снизилась с 0.230 для необработанных логитов до 0.073 с L0. Точность выросла с 0.747 до 0.803, а L1 уменьшил ошибку калибровки с 0.240 до 0.095. Доля решений, автоматически принимаемых при пороге ошибки 5%, увеличилась с 7.7% до 52.0%. Nokia также сообщила о многообещающих результатах внутреннего теста для маршрутизации.

Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием MarkTechPost

Читать оригинал на MarkTechPost ↗

Репортаж и изображение принадлежат MarkTechPost и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости