Adobe тестує, наскільки добре AI-агенти можуть використовувати інструменти редагування як професіонал Photoshop

Adobe перевіряє, наскільки добре ШІ-агенти можуть користуватися інструментами редагування, як професіонал у Photoshop

Джонатан Кемпер Переглянути профіль Джонатана Кемпера в LinkedIn

1 листопада 2026 року

Nano Banana Pro за запитом THE DECODER

Ключові моменти

Adobe Research і Каліфорнійський університет у Сан-Дієго створили EditAgent — систему ШІ, яка розбиває завдання редагування зображень на підкроки та поєднує універсальний редактор зі спеціалізованими інструментами для таких операцій, як підвищення різкості або масштабування.
Стандартна мовна модель оцінює варіанти зображення, створені паралельно, використовуючи виміряну статистику та крупні плани. Завдяки цим даним вона перевершує моделі оцінювання, спеціально навчені для цього завдання.
EditAgent створює точніші результати, ніж попередні ШІ-агенти, але потребує приблизно вдесятеро більше обчислювальних ресурсів. Перевірений результат згодом можна використовувати для навчання швидших моделей редагування.

Дослідники Adobe створили ШІ-агента для редагування зображень, який поєднує універсальний редактор зі спеціалізованими інструментами. Стандартна мовна модель порівнює результати за виміряними даними та обирає найкращий.

ШІ-агенти для редагування зображень розбивають складні запити на окремі кроки й зазвичай повторюють невдалі кроки з тими самими інструментами, тоді як окрема модель оцінює результат, просто візуально його переглядаючи.

Дослідники з Adobe Research і Каліфорнійського університету в Сан-Дієго хочуть змінити це за допомогою EditAgent — системи, яка, згідно з новою статтею, працює більше як професіонал у Photoshop. Вона обирає правильний інструмент для кожного завдання та порівнює результат з оригіналом за точними числовими показниками.

Ілюстрація з оглядом, яка порівнює типове агентне редагування зображень і EditAgent у трьох стовпцях: простір дій, простір спостережень і результат. У верхньому рядку показано повторні спроби з тими самими інструментами, а в нижньому — паралельні кандидати від інструментів General, Local, Tone і Style, оцінені готовою до використання VLM на основі доказів за один виклик. — Замість того щоб знову й знову повторювати роботу одного редактора, EditAgent паралельно створює кандидатів різними методами, а незміненa мовна модель порівнює їх усі одночасно. | Зображення: Adobe

Універсальні редактори не справляються із занадто великою кількістю завдань

Під час тестування 600 операцій редагування, які наосліп оцінювали п’ятеро професіоналів, універсальний редактор Flux-2-Klein-9B не зміг створити придатний результат у 42,7% випадків. Спеціалізовані інструменти вирішили приблизно дві третини цих проблем, особливо під час підвищення різкості, обертання та масштабування. Додаткові спроби з тим самим редактором майже не допомогли.

Дослідники також перевірили, чи дає агент кращий результат, поступово вдосконалюючи його крок за кроком, чи створюючи кілька варіантів паралельно. Ітеративне вдосконалення накопичує дрібні помилки, оскільки кожен раунд ґрунтується на вже зміненому зображенні. Професіонали віддавали перевагу паралельним варіантам, створеним з оригіналу, у 78,5% порівнянь, де вони обирали один із варіантів. Агенту знадобилося вдвічі менше етапів оцінювання. EditAgent побудовано на основі цих двох висновків.

Точні числові показники перетворюють стандартні моделі на кращих оцінювачів

EditAgent планує запит поетапно й на кожному етапі зіставляє універсальний редактор із відповідними спеціалізованими інструментами. Потім стандартна мовна модель порівнює всі варіанти за один прохід.

Архітектурна схема EditAgent на прикладі гасіння полум’я свічки. Планувальник, аналізатор кроків і маршрутизатор обирають методи з пулу можливостей. Три кандидати створюються паралельно з крупними планами та картами змін як доказами, і VLM приймає кандидата 3. Нижче послідовно показано кроки «Видалити полум’я», «Додати дим» і «Налаштувати освітлення». — EditAgent розбиває запит на залежні кроки й створює кілька кандидатів для кожного кроку. Мовна модель обирає найкращий на основі даних перевірки. | Зображення: Adobe

Для кожного варіанта модель отримує запис перевірки з крупним планом відредагованої ділянки, картою змін у змінених областях і виміряними показниками яскравості та кольору. В одному з прикладів фотографію потрібно було трохи освітлити. Числові показники показали, що універсальний редактор пересвітив її та змістив кольори в тепліший бік. Спеціалізований інструмент залишився в межах заданих параметрів.

Два приклади даних перевірки. Вгорі: спеціаліст із видалення та універсальний редактор видаляють нашивку зі смайликом із картатої сорочки, причому крупний план виявляє розмитий картатий візерунок після роботи спеціаліста. Внизу: універсальний редактор і фотометричний оператор освітлюють темний натюрморт, а під зображенням показано виміряні значення яскравості, обрізання та зсуву кольору. — Крупні плани та виміряна статистика зображень виявляють помилки, які мовна модель пропускає, просто дивлячись на все зображення. | Зображення: Adobe

Дослідники перевірили це на своєму тесті з 600 операцій редагування. Модель-оцінювач мала обрати найкращий результат із кількох кандидатів, а дослідники підрахували, як часто вона обирала зображення, яке професіонали також вважали придатним. Для порівняння вони запустили такі моделі, як EditScore, донавчені на оцінках редагування зображень, наданих людьми.

Без запису перевірки жодна із семи протестованих мовних моделей не змогла зрівнятися з найкращою донавченою моделлю. Із ним усі сім перевершили кожну донавчену модель. Qwen3.8-27B робила придатний вибір у 81,3% випадків, тоді як EditScore-72B — у 74,8%. На думку дослідників, це свідчить, що те, що бачить модель-оцінювач, може мати більше значення, ніж спосіб її навчання.

Точкова діаграма Winner-Set Hit@1 для семи моделей Qwen і Gemma, кожна з доказами та без них, у порівнянні з донавченими моделями оцінювання EditScore та EditReward. За наявності доказів показники зростають на 6,3–9,3 процентного пункта, а Qwen3.8-Flash-Next досягає 82,8%. — Завдяки даним перевірки кожна протестована стандартна мовна модель перевершує найсильнішу донавчену модель оцінювання — EditScore-72B із результатом 74,8%. | Зображення: Adobe

Після кожного раунду EditAgent також перевіряє, чи не скасували пізніші редагування випадково попередні. У прикладі зі статті інструкція «впустити більше денного світла» знову робить раніше матове вікно прозорим. Агент виявляє конфлікт і виправляє його.

Послідовність редагування ванної кімнати на чотирьох зображеннях. У першому раунді вікно матове. У другому раунді додавання більшої кількості денного світла знову робить скло прозорим. Перевірка історії виявляє порушення та відновлює матове скло, зберігаючи яскравіше освітлення. — Після кожного раунду виконується перевірка, щоб пізніші редагування непомітно не скасовували попередні зміни. | Зображення: Adobe

EditAgent покращив роботу відкритих редакторів Qwen-Image-Edit-2511 і Flux-2-Klein-9B у трьох тестах та перевершив сім інших ШІ-агентів. У тесті EdiVal варіант Qwen на третьому раунді редагування випередив комерційні моделі Seedream 4.0 і GPT-Image-1.5. Однак агент потребує приблизно вдесятеро більше обчислювальних ресурсів, ніж один редактор, а його ефективність залежить від підключених інструментів.

Агент створює навчальні дані для швидших редакторів

Дослідники також використовують EditAgent як джерело даних. Оскільки агент зберігає лише перевірені результати, він створив близько 26 000 навчальних прикладів. Редактори, донавчені на цих даних, показали кращі результати в усіх трьох тестах. Натомість навчальні дані, безпосередньо створені FLUX, фактично погіршили роботу FLUX. Цей компроміс може з часом виправдати високі обчислювальні витрати агента.

У червні Adobe додала ШІ-агентів до Photoshop, Premiere та інших програм Creative Cloud, спочатку у форматі публічної бета-версії. Користувачі описують, чого хочуть, а агент виконує окремі кроки. Те, наскільки добре ці агенти обирають правильні інструменти та перевіряють власний результат, безпосередньо стосується продуктів Adobe, доступних користувачам. Відтоді Black Forest Labs замінила універсальну модель, протестовану в статті: нова Flux 3 Image Klein має 5,6 мільярда параметрів, що менше, ніж у Flux 2 Klein, але в результатах внутрішніх тестів Black Forest Labs вона набирає більше балів, ніж усі інші відкриті моделі, і навіть комерційна Flux 2 Pro.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.

Джерело: Arxiv

Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.