Открытый конвейер обучает кодовую модель рисовать акварелью
Открытая реализация проверяет, может ли обучение с подкреплением научить языковую модель создавать изображения в акварельной манере. Проект Серджо Паниего развивает более раннюю работу Сурьи Нарредди: модель пишет JavaScript с помощью p5.brush, библиотеки, имитирующей растекание пигмента, фактуру бумаги и движение кисти. На момент подготовки статьи видео Нарредди набрало более 1.5M просмотров.
В реализации используются TRL и OpenEnv; опубликованы набор эталонных изображений, окружение, скрипты обучения и модели. Модели разрешены только десять методов p5.brush. Специальная проверка отклоняет эскизы, которые не компилируются, не оставляют пигмент, используют прямые вызовы p5 или пытаются обмануть оценивание. Функция награды объединяет проверки корректности и длины с HPSv3 и попарным оценщиком Qwen3-VL-30B-A3B-Instruct, сравнивающим результат с четырьмя случайными эталонами.
Эталонный набор включает 178 созданных моделями картин, распределённых Паниего по двум уровням личных предпочтений. Их сгенерировали GLM-5.2, Kimi-K3, Qwen3-Coder-Next и Qwen3.5-122B-A10B на основе фотографий гибискусов. В трёх запусках менялось соотношение двух модельных сигналов предпочтения; автор сообщает, что все запуски с попарным оценщиком смогли обучиться.
Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.