Sakhanda Wire
NVDA $152.58 -2.28% MSFT $506.11 -2.29% GOOGL $279.81 -1.38% META $619.07 -1.17% AMZN $256.55 -0.47%
← К новостям

GRPO повысил точность структурированных ответов LFM2.5-350M

В открытой методике для модели LiquidAI LFM2.5-350M применяется Group Relative Policy Optimization (GRPO), чтобы улучшить соблюдение заданных форматов и схем. Обучение с библиотекой TRL использует около 500 примеров и 100 шагов, поэтому его можно запускать на бесплатном GPU в Colab или Kaggle. Проверка проводится на открытом бенчмарке IFStruct, который оценивает валидность ответов и соответствие JSON-схемам.

В описанной локальной конфигурации базовая модель успешно прошла 452 из 2 000 тестов, получив 22,6%. После дообучения с LoRA-адаптером объединённая модель прошла 594 теста и достигла 29,7%, что на 7,1 процентного пункта выше. Результат для JSON вырос с 18,0% до 31,9%, тогда как показатель для YAML изменился с 27,2% до 27,5%. Соответствие ответам в виде списка верхнего уровня увеличилось с 16,6% до 29,7%.

В обучающих данных запросы сопоставлялись с JSON-схемами и ожидаемым числом полей. Часть примеров дополнили требованиями использовать блоки кода или массивы верхнего уровня. Авторы отмечают, что описанный процесс отличается от обучения RL-модели, представленной в блоге IFStruct.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости