Sakhanda Wire
NVDA $154.00 -1.37% MSFT $506.28 -2.26% GOOGL $280.87 -1.00% META $620.34 -0.97% AMZN $256.88 -0.34%
← До новин

AnyJev перетворює відкриті LLM на калібровані моделі рішень

Дослідницька команда Nokia випустила AnyJev — бібліотеку Python з ліцензією Apache-2.0, яка без додаткового навчання перетворює відкриту велику мовну модель на типізовану модель ухвалення рішень. Вона призначена для завдань, де потрібно вибрати одну відповідь із фіксованого набору, а не генерувати текст. Пакет доступний через PyPI та має бекенди для Hugging Face Transformers і vLLM зі спільним обчисленням префікса.

AnyJev підтримує запитання з варіантами відповіді, запитання «так або ні» та оцінювання в упорядкованих діапазонах. Режим L0 показує варіанти в усіх циклічних перестановках і об’єднує результати, щоб зменшити вплив позиції у списку. Він також коригує початкові упередження моделі після восьми прикладів. Режим L1 додає температурне масштабування, налаштоване на 100–500 розмічених прикладах. Відповідь не генерується й не аналізується: імовірність береться з розподілу наступного токена.

У тесті BANKING77 на Qwen3-8B із 20 варіантами частота зміни відповіді після перестановки зменшилася з 0.230 для необроблених логітів до 0.073 із L0. Точність зросла з 0.747 до 0.803, а L1 знизив помилку калібрування з 0.240 до 0.095. Частка випадків, які можна автоматично вирішити за рівня помилки 5%, піднялася з 7.7% до 52.0%. Nokia також повідомила про перспективні результати внутрішнього тестування маршрутизації.

Текст підготовлено ШІ Sakhanda Wire за матеріалом MarkTechPost. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням MarkTechPost

Читати оригінал на MarkTechPost ↗

Репортаж і зображення належать MarkTechPost і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини