Adobe тества доколко AI агенти могат да използват инструменти за редактиране като професионалист във Photoshop

Изследователи от Adobe създадоха AI агент за редактиране на изображения, който съчетава универсален редактор със специализирани инструменти. Стандартен езиков модел сравнява резултатите с помощта на измерени данни и избира най-добрия.

AI агентите за редактиране на изображения разделят сложните заявки на стъпки и обикновено повтарят неуспешните стъпки със същите инструменти, докато отделен модел оценява резултата само визуално.

Изследователи от Adobe Research и Калифорнийския университет в Сан Диего искат да променят това с EditAgent — система, която работи повече като професионалист във Photoshop, според нов научен труд. Тя избира правилния инструмент за всяка задача и сравнява резултата с оригинала, използвайки точни числови показатели.

Универсалните редактори се провалят при твърде много задачи

При тест на 600 редакции на изображения, оценени на сляпо от петима професионалисти, универсалният редактор Flux-2-Klein-9B не е успял да създаде използваем резултат в 42,7 процента от случаите. Специализираните инструменти са решили приблизително две трети от тези проблеми, особено при изостряне, завъртане и мащабиране. Допълнителните опити със същия редактор почти не са помогнали.

Изследователите също така са проверили дали един агент се справя по-добре, като усъвършенства резултатите стъпка по стъпка, или като генерира множество варианти паралелно. Итеративното усъвършенстване натрупва малки грешки, защото всеки рунд се основава на вече променено изображение. Професионалистите са предпочели паралелните варианти, генерирани от оригинала, в 78,5 процента от сравненията, при които са избрали една от двете опции. Агентът е имал нужда само от наполовина по-малко оценяващи проходи. EditAgent е изграден върху тези две констатации.

Точните числови показатели превръщат стандартните модели в по-добри оценяващи

EditAgent планира заявката на стъпки и за всяка стъпка противопоставя универсалния редактор на подходящи специализирани инструменти. След това стандартен езиков модел сравнява всички варианти в един проход.

За всеки вариант моделът получава запис за проверка с близък кадър на редактираната област, карта на променените региони и измерени статистически данни за яркостта и цветовете. В един пример снимка е трябвало да бъде леко изсветлена. Числата показали, че универсалният редактор я е преекспонирал и е изместил цветовете към по-топли тонове. Специализираният инструмент е останал в рамките на зададените параметри.

Изследователите са тествали това върху своя набор от 600 редакции. Оценяващият модел е трябвало да избере най-добрия резултат от няколко кандидата, а те са преброили колко често е избирал изображение, което професионалистите също са оценили като използваемо. За сравнение са тествали модели като EditScore, дообучени върху човешки оценки на редакции на изображения.

Без записа за проверка нито един от седемте тествани езикови модела не е успял да достигне най-добрия дообучен модел. С него и седемте са надминали всеки дообучен модел. Qwen3.8-27B е направил използваем избор в 81,3 процента от случаите, в сравнение със 74,8 процента за EditScore-72B. Според изследователите това подсказва, че това, което вижда оценяващият модел, може да е по-важно от начина, по който е обучен.

След всеки рунд EditAgent проверява и дали последващи редакции не са отменили случайно предишните. В примера от научния труд инструкцията „пропусни повече дневна светлина“ отново прави преди това матирания прозорец прозрачен. Агентът открива конфликта и го коригира.

EditAgent е подобрил редакторите с отворен код Qwen-Image-Edit-2511 и Flux-2-Klein-9B в три бенчмарка и е надминал седем други AI агента. В бенчмарка EdiVal вариантът на Qwen в третия си рунд на редактиране е изпреварил с малко комерсиалните модели Seedream 4.0 и GPT-Image-1.5. Агентът обаче се нуждае от около десет пъти повече изчислителни ресурси от единичен редактор, а представянето му зависи от това кои инструменти са свързани.

Агентът генерира обучаващи данни за по-бързи редактори

Изследователите използват EditAgent и като източник на данни. Тъй като агентът запазва само проверени резултати, той е създал около 26 000 обучаващи примера. Редакторите, дообучени с тези данни, са се представили по-добре и в трите бенчмарка. От друга страна, обучаващите данни, генерирани директно от FLUX, всъщност са влошили FLUX. Този компромис може с времето да оправдае високите изчислителни разходи на агента.

Adobe добави AI агенти към Photoshop, Premiere и други приложения на Creative Cloud през юни, първоначално като публична бета версия. Потребителите описват какво искат, а агентът изпълнява отделните стъпки. Доколко добре тези агенти избират правилните инструменти и проверяват собствения си резултат е въпрос, който пряко засяга продуктите на Adobe. Междувременно Black Forest Labs замени универсалния модел, тестван в научния труд: новият Flux 3 Image Klein има 5,6 милиарда параметъра — по-малко от Flux 2 Klein, но въпреки това постига по-висок резултат от всички други модели с отворен код и дори от комерсиалния Flux 2 Pro във вътрешните тестове на Black Forest Labs.

AI новини без сензация – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен AI бюлетин, нашия ексклузивен шест пъти годишно доклад „AI Radar“ за водещите разработки, пълен достъп до архива и достъп до секцията за коментари.