GRPO повысил точность структурированных ответов LFM2.5-350M
В открытой методике для модели LiquidAI LFM2.5-350M применяется Group Relative Policy Optimization (GRPO), чтобы улучшить соблюдение заданных форматов и схем. Обучение с библиотекой TRL использует около 500 примеров и 100 шагов, поэтому его можно запускать на бесплатном GPU в Colab или Kaggle. Проверка проводится на открытом бенчмарке IFStruct, который оценивает валидность ответов и соответствие JSON-схемам.
В описанной локальной конфигурации базовая модель успешно прошла 452 из 2 000 тестов, получив 22,6%. После дообучения с LoRA-адаптером объединённая модель прошла 594 теста и достигла 29,7%, что на 7,1 процентного пункта выше. Результат для JSON вырос с 18,0% до 31,9%, тогда как показатель для YAML изменился с 27,2% до 27,5%. Соответствие ответам в виде списка верхнего уровня увеличилось с 16,6% до 29,7%.
В обучающих данных запросы сопоставлялись с JSON-схемами и ожидаемым числом полей. Часть примеров дополнили требованиями использовать блоки кода или массивы верхнего уровня. Авторы отмечают, что описанный процесс отличается от обучения RL-модели, представленной в блоге IFStruct.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.