Adobe тестирует, насколько хорошо AI-агенты могут использовать инструменты редактирования как профессионал Photoshop
Ключевые моменты
- Adobe Research и Калифорнийский университет в Сан-Диего создали EditAgent — ИИ-систему, которая разбивает задачи редактирования изображений на подзадачи и объединяет универсальный редактор со специализированными инструментами для таких операций, как повышение резкости или масштабирование.
- Стандартная языковая модель оценивает варианты изображений, созданные параллельно, используя измеряемую статистику и крупные планы. Благодаря этим данным она превосходит модели оценки, специально обученные для этой задачи.
- EditAgent выдает более точные результаты, чем предыдущие ИИ-агенты, но требует примерно в десять раз больше вычислительных ресурсов. Затем проверенный результат можно использовать для обучения более быстрых моделей редактирования.
Исследователи Adobe создали ИИ-агента для редактирования изображений, который объединяет универсальный редактор со специализированными инструментами. Стандартная языковая модель сравнивает результаты с использованием измеряемых данных и выбирает лучший.
ИИ-агенты для редактирования изображений разбивают сложные запросы на шаги и обычно повторяют неудачные шаги с помощью тех же инструментов, в то время как отдельная модель оценивает результат визуально.
Исследователи из Adobe Research и Калифорнийского университета в Сан-Диего хотят изменить этот подход с помощью EditAgent — системы, которая, согласно новой статье, работает скорее как профессионал в Photoshop. Она выбирает подходящий инструмент для каждой задачи и сравнивает результат с оригиналом, используя точные числовые показатели.
Универсальные редакторы не справляются со слишком большим числом задач
В тесте на 600 операций редактирования, результаты которого вслепую оценивали пять профессионалов, универсальный редактор Flux-2-Klein-9B в 42,7% случаев не смог создать пригодный к использованию результат. Специализированные инструменты устраняли примерно две трети этих ошибок, особенно при повышении резкости, повороте и масштабировании. Дополнительные попытки с тем же редактором почти не помогали.
Исследователи также проверили, дает ли агент лучший результат, постепенно уточняя изображение шаг за шагом, или создавая несколько вариантов параллельно. Итеративное уточнение накапливает небольшие ошибки, поскольку каждый раунд основывается на уже измененном изображении. В 78,5% сравнений, где профессионалы выбирали один из вариантов, они предпочитали параллельные варианты, созданные из оригинала. Агенту требовалось вдвое меньше этапов оценки. EditAgent построен на основе этих двух выводов.
Точные числовые показатели превращают стандартные модели в более эффективных оценщиков
EditAgent планирует запрос по шагам и на каждом шаге противопоставляет универсальный редактор подходящим специализированным инструментам. Затем стандартная языковая модель сравнивает все варианты за один проход.
Для каждого варианта модель получает запись проверки с крупным планом отредактированной области, картой измененных участков и измеренными показателями яркости и цвета. В одном из примеров фотографию нужно было слегка осветлить. Числовые показатели показали, что универсальный редактор переэкспонировал ее и сделал цвета теплее. Специализированный инструмент остался в пределах заданных параметров.
Исследователи проверили это на своем бенчмарке из 600 операций редактирования. Модель-оценщик должна была выбрать лучший результат из нескольких вариантов, а исследователи подсчитывали, как часто она выбирала изображение, которое профессионалы также считали пригодным к использованию. Для сравнения они запускали такие модели, как EditScore, дообученные на человеческих оценках отредактированных изображений.
Без записи проверки ни одна из семи протестированных языковых моделей не смогла сравниться с лучшей дообученной моделью. С ней все семь превзошли каждую дообученную модель. Qwen3.8-27B делала пригодный выбор в 81,3% случаев против 74,8% у EditScore-72B. По мнению исследователей, это указывает на то, что то, что видит модель-оценщик, может быть важнее того, как она обучалась.
После каждого раунда EditAgent также проверяет, не отменили ли последующие правки случайно предыдущие. В примере из статьи инструкция «впустить больше дневного света» снова делает ранее матовое окно прозрачным. Агент обнаруживает конфликт и исправляет его.
EditAgent улучшил редакторы с открытым исходным кодом Qwen-Image-Edit-2511 и Flux-2-Klein-9B на трех бенчмарках и превзошел семь других ИИ-агентов. На бенчмарке EdiVal вариант Qwen на третьем раунде редактирования немного обошел коммерческие модели Seedream 4.0 и GPT-Image-1.5. Однако агент требует примерно в десять раз больше вычислительных ресурсов, чем один редактор, а его производительность зависит от подключенных инструментов.
Агент создает обучающие данные для более быстрых редакторов
Исследователи также используют EditAgent как источник данных. Поскольку агент сохраняет только проверенные результаты, он создал около 26 000 обучающих примеров. Редакторы, дообученные на этих данных, показали лучшие результаты на всех трех бенчмарках. С другой стороны, обучающие данные, напрямую созданные FLUX, фактически ухудшили работу FLUX. Со временем этот компромисс может оправдать высокие вычислительные затраты агента.
В июне Adobe добавила ИИ-агентов в Photoshop, Premiere и другие приложения Creative Cloud, начав с публичного бета-тестирования. Пользователи описывают, чего хотят, а агент выполняет отдельные шаги. Вопрос о том, насколько хорошо эти агенты выбирают подходящие инструменты и проверяют собственный результат, напрямую относится к продуктам Adobe, доступным пользователям. С тех пор Black Forest Labs заменила универсальную модель, протестированную в статье: новая Flux 3 Image Klein имеет 5,6 млрд параметров — меньше, чем Flux 2 Klein, — но в собственных тестах Black Forest Labs набирает больше баллов, чем все остальные модели с открытым исходным кодом, и даже превосходит коммерческую Flux 2 Pro.
Новости ИИ без шумихи — отобраны людьми
Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный годовой отчет о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.