Sakhanda Wire
NVDA $152.58 -2.28% MSFT $506.11 -2.29% GOOGL $279.81 -1.38% META $619.07 -1.17% AMZN $256.55 -0.47%
← До новин

GRPO підвищив точність структурованих відповідей LFM2.5-350M

У відкритій методиці для моделі LiquidAI LFM2.5-350M застосували Group Relative Policy Optimization (GRPO), щоб поліпшити дотримання заданих форматів і схем. Навчання з бібліотекою TRL охоплює близько 500 прикладів і 100 кроків, тому його можна виконати на безкоштовному GPU в Colab або Kaggle. Перевірку провели на відкритому бенчмарку IFStruct, який оцінює валідність відповідей і відповідність JSON-схемам.

У описаній локальній конфігурації базова модель правильно пройшла 452 із 2 000 тестів, або 22,6%. Після донавчання з LoRA-адаптером об’єднана модель пройшла 594 тести й досягла 29,7% — на 7,1 відсоткового пункта більше. Показник для JSON зріс із 18,0% до 31,9%, тоді як результат для YAML змінився з 27,2% до 27,5%. Відповідність відповідям у форматі списку верхнього рівня підвищилася з 16,6% до 29,7%.

Навчальні дані поєднували запити з JSON-схемами та очікуваною кількістю полів. Частину прикладів адаптували, додавши вимоги використовувати блоки коду або масиви верхнього рівня. Автори уточнюють, що цей процес відрізняється від навчання RL-моделі, описаної в блозі IFStruct.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини