Sakhanda Wire
NVDA $152.86 -2.10% MSFT $505.56 -2.40% GOOGL $280.34 -1.19% META $618.69 -1.23% AMZN $256.63 -0.43%
← К новостям

Агенты воспроизвели 2226 статей ICML за 19 дней

Более 1200 участников за 19 дней попытались воспроизвести исследования, представленные на ICML 2026. С 15 июля по 2 августа они применяли кодирующих агентов, включая Claude Code, Codex, Cursor и Pi, чтобы проверять научные утверждения в статьях. Участники опубликовали 6816 журналов Trackio по 2226 работам — примерно 34% конференции — и запустили 2962 облачные задачи.

Автоматизированный судья классифицировал 35 908 утверждений как подтвержденные, опровергнутые, проверенные только на уменьшенном масштабе или не имеющие однозначного результата. Хотя бы одно утверждение подтвердили независимо в 1103 статьях; 266 работ были воспроизведены полностью. В 496 статьях нашли как минимум одно опровергнутое или оспоренное утверждение. Для 242 работ разные команды получили противоположные выводы. Чаще всего сделать вывод мешали отсутствующие материалы.

Организаторы считают, что агенты способны существенно расширить проверку исследований, но пока не заменяют человеческое руководство. Люди исправляли направление работы, проверяли предпосылки и разбирались с результатами, которые не удавалось надежно оценить автоматически. Авторы нескольких статей подтвердили обнаруженные проблемы, а для двух работ готовились исправления на arXiv.

Текст подготовлен ИИ Sakhanda Wire по материалу Hugging Face. Факты, цитаты и полный контекст — в оригинальной статье ниже.

Впервые опубликовано изданием Hugging Face

Читать оригинал на Hugging Face ↗

Репортаж и изображение принадлежат Hugging Face и указаны выше со ссылкой на оригинал; текст на этой странице — собственное изложение Sakhanda Wire.

← К новостям

Ещё новости

Все последние новости