GRPO підвищив точність структурованих відповідей LFM2.5-350M
У відкритій методиці для моделі LiquidAI LFM2.5-350M застосували Group Relative Policy Optimization (GRPO), щоб поліпшити дотримання заданих форматів і схем. Навчання з бібліотекою TRL охоплює близько 500 прикладів і 100 кроків, тому його можна виконати на безкоштовному GPU в Colab або Kaggle. Перевірку провели на відкритому бенчмарку IFStruct, який оцінює валідність відповідей і відповідність JSON-схемам.
У описаній локальній конфігурації базова модель правильно пройшла 452 із 2 000 тестів, або 22,6%. Після донавчання з LoRA-адаптером об’єднана модель пройшла 594 тести й досягла 29,7% — на 7,1 відсоткового пункта більше. Показник для JSON зріс із 18,0% до 31,9%, тоді як результат для YAML змінився з 27,2% до 27,5%. Відповідність відповідям у форматі списку верхнього рівня підвищилася з 16,6% до 29,7%.
Навчальні дані поєднували запити з JSON-схемами та очікуваною кількістю полів. Частину прикладів адаптували, додавши вимоги використовувати блоки коду або масиви верхнього рівня. Автори уточнюють, що цей процес відрізняється від навчання RL-моделі, описаної в блозі IFStruct.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.