GRPO дообучаване повишава резултата на LFM2.5-350M при структурирани изходи
Публична рецепта за обучение използва Group Relative Policy Optimization (GRPO), за да подобри спазването на зададени структури от модела LiquidAI LFM2.5-350M. Процедурата разчита на библиотеката TRL, около 500 обучаващи примера и 100 стъпки, което позволява изпълнение върху безплатен GPU в Colab или Kaggle. Резултатите са измерени с отворения тест IFStruct за валидност на отговорите и съответствие с JSON схеми.
В описаната локална конфигурация базовият модел е преминал 452 от 2 000 теста, или 22,6%. След дообучаване с LoRA адаптер обединеният модел е преминал 594 теста и е достигнал 29,7% — увеличение от 7,1 процентни пункта. Успеваемостта при JSON е нараснала от 18,0% на 31,9%, докато при YAML промяната е от 27,2% на 27,5%. Спазването на формат с основен списък се е повишило от 16,6% на 29,7%.
Данните свързват подкани с JSON схеми и очакван брой полета. Част от примерите са променени, за да изискват оградени кодови блокове или масиви на най-високо ниво. Авторите уточняват, че този процес не възпроизвежда обучението на RL модела от блога за IFStruct.
Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.