Відкритий процес навчає кодову модель малювати аквареллю
Відкрита реалізація перевіряє, чи може навчання з підкріпленням навчити мовну модель створювати зображення в акварельному стилі. Проєкт Серджо Панієго розвиває попередню роботу Сур’ї Нарредді, у якій модель пише JavaScript за допомогою p5.brush — бібліотеки, що імітує розтікання пігменту, текстуру паперу та рух пензля. На момент підготовки статті відео Нарредді переглянули понад 1.5M разів.
Реалізація використовує TRL і OpenEnv; оприлюднено набір еталонів, середовище, скрипти навчання та моделі. Моделі дозволено застосовувати лише десять методів p5.brush. Окрема перевірка відхиляє ескізи, які не компілюються, не залишають пігменту, використовують прямі виклики p5 або намагаються обманути оцінювання. Функція винагороди поєднує перевірки коректності й довжини з HPSv3 та попарним оцінювачем Qwen3-VL-30B-A3B-Instruct, який порівнює результат із чотирма випадковими еталонами.
Еталонний набір містить 178 створених моделями картин, оцінених Панієго за двома рівнями особистих уподобань. Їх згенерували GLM-5.2, Kimi-K3, Qwen3-Coder-Next і Qwen3.5-122B-A10B на основі фотографій гібіскусів. У трьох запусках змінювали співвідношення двох модельних сигналів уподобань; автор повідомляє, що всі запуски з попарним оцінювачем змогли навчатися.
Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.