Xiaomi представила PROVE для оценки удаления объектов
Команда MiLM Plus из Xiaomi Inc. выпустила PROVE — систему оценки моделей для удаления объектов. Работа принята на ACM MM 2026. Авторы отмечают, что задача является некорректно поставленной: одну и ту же область можно правдоподобно восстановить разными способами, поэтому единственного эталона не существует. PROVE включает две метрики без референсного видео: RC-S оценивает пространственную согласованность, а RC-T — временную. Они сопоставляют локальные распределения признаков DINOv2 с помощью Maximum Mean Discrepancy в скользящем окне.
В PROVE-Bench входят PROVE-M с 80 парными видео, дополненными синхронным движением, и PROVE-H со 100 сложными видео без эталонных данных. В сравнении с оценками 20 участников RC-S получил средний Kendall’s τ 0.59, тогда как ReMOVE набрал 0.26, а CFD — 0.16. Метрика заняла первое место в пяти из шести тестов. На RORD-Val она предпочла чистое изображение размытому или изменённому варианту в 100% случаев.
Код распространяется по лицензии Apache 2.0 и требует Python 3.10+, PyTorch 2.6+, Transformers 4.51+ и веса DINOv2-giant. На RTX 4090 RC-S обрабатывает кадр за 134.6 ms. PROVE предназначена для оценки моделей, а не для подсчёта в реальном времени на устройстве; метод также ограничен ситуациями, когда эффекты выходят за пределы оцениваемого фрагмента.
Текст подготовлен ИИ Sakhanda Wire по материалу MarkTechPost. Факты, цитаты и полный контекст — в оригинальной статье ниже.