Що ми дізналися, відтворивши 2 200 статей з ICML

Опубліковано 13 серпня 2026 року

Ще в липні ми провели хакатон, під час якого понад 1 200 учасників спільноти використали власних кодингових агентів і спробували відтворити опубліковані на ICML 2026 статті — твердження за твердженням. За 19 днів учасники опублікували 6 816 журналів Trackio, відтворивши 2 226 статей — приблизно третину конференції 🤯

У цій публікації ми ділимося тим, чого навчилися під час проведення цього хакатону, і тим, що це означає для ролі людей, коли агенти проводять дослідницькі експерименти.

Статей більше, ніж будь-хто може переглянути

Питання про те, наскільки насправді відтворюваними є дослідження у сфері ШІ, виникли задовго до нинішньої хвилі розвитку ШІ. Але масштаб лише загострює ці питання. На ICML 2026 надійшло 23 918 заявок, із яких було прийнято 6 352 статті — приблизно вдвічі більше, ніж попереднього року. Це продовження експоненційної тенденції, яку принаймні частково зумовлюють агенти ШІ, що дають змогу швидше проводити експерименти та описувати їх.

Можливості рецензування не зросли вдвічі разом із цим. На більшості конференцій рецензенти працюють добровільно й можуть не мати часу або експертизи, щоб повністю перевірити статтю. Ось рецензія на одну з прийнятих статей ICML 2026, наведена власними словами рецензента:

"Моя низька оцінка впевненості пояснюється тим, що я не перевірив усі докази ретельно."

Зверніть увагу, що ця стаття отримала високі оцінки та статус spotlight. Запам’ятайте це, адже далі в публікації ми повернемося саме до цієї статті та до того, що сталося, коли ми нарешті ретельно перевірили її докази.

Однак змінилося те, що та сама технологія, яка спричиняє наплив заявок, може також допомогти нам встигати за ним. Кодингові агенти, як-от Claude Code, Codex, Cursor і Pi, тепер можуть прочитати статтю, написати код, запустити експерименти й повідомити про результати. Раніше ретельна перевірка статті коштувала рецензенту цілого вихідного; агент може спробувати зробити це за один день і паралельно — тисячі разів.

Тож ми хотіли поставити таке запитання: якщо ми справді повторно перевіримо масштабну конференцію та спробуємо відтворити кожну статтю, що ми виявимо?

Хакатон (15 липня — 2 серпня)

Замість того щоб самостійно перевіряти статті, ми відкрили цей процес для всієї спільноти, залучивши всю різноманітність агентських фреймворків, обчислювальних бюджетів і наукових підходів. З 15 липня до 2 серпня 2026 року челендж ICML 2026 Open Reproductions працював так:

Оберіть статтю. Ми проіндексували всі 6 341 прийняту статтю ICML 2026 разом з анотаціями та виокремили основні наукові твердження кожної з них, щоб агент міг почати з конкретної перевірюваної цілі, а не з PDF-файлу на 40 сторінок. Заохочувалося, щоб одну й ту саму статтю відтворювали кілька людей.
Використайте власного агента. Учасники використовували Claude Code, Codex, Cursor, orx від OpenResearch та все, що між ними. Ми надали спрощений інтерфейс, завдяки якому агент міг отримати статтю, її твердження та інструкції челенджу однією командою.
Відтворіть, а потім опублікуйте все. Кожен запуск створював журнал Trackio: статичний Hugging Face Space з описом, кодом, який було запущено, створеними артефактами та, за бажанням, повним трасуванням виконання агентом, завантаженим як Hugging Face Dataset. Сам процес аудиту мав бути доступним для аудиту.
Пройдіть оцінювання. Автоматизований суддя журналів (на основі моделі з відкритими вагами GLM-5.2) повторно прочитав кожен журнал і виніс вердикт щодо кожного твердження: підтверджено, спростовано, іграшковий масштаб (докази на зменшеному масштабі) або неостаточно. Судді було чітко наказано не довіряти самооцінці кожного журналу.

Учасники отримали 20 доларів у вигляді кредитів на обчислення Hugging Face для запуску експериментів у HF Jobs; протягом челенджу учасники запустили 2 962 хмарні завдання. Коли повне відтворення було неможливим — наприклад, коли набір даних статті був власницьким або контрольні точки не були опубліковані, — учасники проводили іграшкові відтворення на синтетичних даних, що імітували властивості оригіналу.

Ось як виглядає завершене відтворення:

За кількісними показниками цей хакатон, імовірно, став найбільшою спробою відтворення наукової конференції:

1 221 учасник спільноти приєднався до організації
6 816 журналів відтворення опубліковано
Здійснено спробу відтворити 2 226 статей — 34% усієї конференції, багато з них кількома незалежними командами
Оцінено 35 908 тверджень, усі вердикти зафіксовано в загальнодоступному наборі даних після завершення челенджу
Запущено 2 962 HF Jobs; на Hugging Face опубліковано 274 набори даних із повним трасуванням роботи агентів

Що ми виявили

Агрегуючи вердикти щодо окремих тверджень для кожної статті:

У 51% перевірених статей (1 103) було незалежно підтверджено принаймні одне твердження. Із них у 266 статтях було повністю відтворено всі твердження, а ще 632 було частково відтворено без жодного спростованого твердження. Загалом реальними експериментами підтверджено 3 978 окремих тверджень.

У 23% перевірених статей (496) принаймні одне твердження було спростовано або поставлено під сумнів. Сюди входять 49 статей, у яких усі твердження було спростовано й нічого не вдалося підтвердити, а також, можливо, найцікавіше, 242 статті, щодо яких незалежні команди відтворення дійшли протилежних вердиктів стосовно тих самих тверджень. Відтворюваність не є бінарною — вона має змагальний характер.

Решта опинилася посередині: 502 статті мали докази лише на іграшковому масштабі, а для 280 не вдалося встановити нічого в жоден бік (найпоширенішою причиною була відсутність артефактів).

Успішні відтворення

Деякі статті чудово пройшли це випробування, а найкращі журнали спільноти варті окремого прочитання:

"Пласкі мінімуми та узагальнення: висновки зі стохастичної опуклої оптимізації" було відтворено 20 незалежними командами, 12 із яких підтвердили кожне твердження. У пов’язаному журналі було додано й опубліковано повне трасування роботи агента.
"Підкидання монети для безпеки: судді на основі LLM не здатні надійно вимірювати стійкість до атак" — у 14 із 17 журналів було підтверджено кожне твердження. Стаття про ненадійних суддів на основі LLM витримала перевірку агентами на основі LLM :)

Спростування та те, що сталося під час перевірки

35 учасників офіційно заявили, що їм вдалося щось спростувати. Ми змагально повторно перевірили кожне заявлене спростування: перечитали статтю, перечитали журнал і повторно вивели математику або реалізували експеримент на основі власного тексту статті.

Кілька підтверджених спростувань із посиланнями на журнали, у яких їх виявили:

Стаття про пейджинг із вступу. Рецензент, який не перевірив докази ретельно? Стаття "До оптимальної стійкості в пейджингу з доповненням навчання" стверджує, що її алгоритм досягає стійкості . Журнал одного з учасників показав, що адитивний доданок зростає як , і виявив точний крок доказу, на якому він руйнується. Наша власна повторна реалізація розширила перевірку до k = 1 024 і підтвердила зростання приблизно на рівні дев’яти сигм. Справжня стійкість становить .

Теорема, яка руйнується після кроку 224. У статті "Прямий прохід уваги та Франк — Вульф" доводиться, що частинки токенів колапсують у початок координат, коли початок лежить усередині їхньої опуклої оболонки. Три незалежні команди знайшли контрприклади: порушення вперше з’являлися на кроках t = 224, приблизно 3 800 і 6 416. Це добре пояснює, чому всі інші "підтвердили" твердження: перевірки на скінченному горизонті припинялися надто рано. Найчистіший контрприклад сформульовано в точній раціональній арифметиці, тож похибки чисел із плаваючою комою тут не можуть бути виправданням. Автори підтвердили це того ж дня й працюють над виправленням.

Теорія написана для однієї функції втрат, а результати отримано за допомогою іншої. У статті "Самодистиляція забезпечує безперервне навчання" центральне рівняння та весь теоретичний розділ аналізують зворотну KL-дивергенцію, але стандартний режим опублікованого коду, який, за словами авторів, використовувався для отримання всіх результатів статті, обчислює пряму KL-дивергенцію. Журнал, у якому це виявили, також не зміг відтворити заявлений у заголовку результат +4 відсоткові пункти за допомогою власного коду й даних авторів. Автори вже завантажили уточнену версію на arXiv.

Оцінювання, спотворене доповненням. У статті "Чи потрібні трансформерам три проєкції?" учасник виявив, що приблизно 66% оцінених позицій міток були токенами доповнення EOS, які під час навчання наближаються до нульової втрати, зменшуючи перплексію приблизно втричі. Заявлена в анотації "втрата якості 3,1% за 50% скорочення кешу" після виправлення становить приблизно 9,4%.

🚨 Хибні спростування. Іноді ми виявляли недоліки у спробі відтворення. В одному журналі було гучно заявлено: "метод статті вдвічі повільніший за базовий"; виявилося, що це арифметична помилка в самому відтворенні: час на одну траєкторію порівняли з часом на пакет із 50 траєкторій. Після правильної нормалізації власні дані учасника підтверджують заявлене авторами 8-кратне прискорення.

Спілкування з авторами

Ми почали писати авторам кожної статті з підтвердженим результатом, просто формулюючи запитання: ось що ми виявили, ось усі докази — ви згодні чи наша аналітика помилкова? Перші відповіді були дуже позитивними:

Наразі автори підтвердили результати щодо кількох статей, два виправлення на arXiv перебувають у процесі, а в одному випадку автор непомітно виправив помилку в новій версії на arXiv за місяць до того, як челендж її виявив; ми вважаємо це незалежним збігом результатів 🤗

Роль людей

Найцікавіше питання, яке порушує цей хакатон: чи залишилася в людей роль у рецензуванні статей? Ми вважаємо, що так, з кількох причин:

Самостійне виконання агентами має реальні обмеження. Агенти застрягали в локальних циклах, неправильно тлумачили поведінку, залежну від масштабу (кілька вердиктів "підтверджено" щодо статті про пейджинг ґрунтувалися на перевірках, які припинилися до того, як стало помітним зростання log-k), а іноді будували повне спростування на невідповідності одиниць вимірювання. Найнадійніші результати челенджу надходили з робочих процесів, у яких людина керувала процесом: перенаправляла агента, ставила під сумнів припущення або вирішувала, що передумова експерименту хибна, перш ніж витратити на нього тиждень обчислень.

Деякі види оцінювання наразі невіддільні від участі людини. Наш переможець із залученням людини — найяскравіший приклад. У статті стверджувалося, що генерація зображень залишається стабільною за екстремального квантування. Числові метрики казали: "колапсу немає"; але питання, чи були зображення насправді придатними до використання, було перцептивним. Агент створив спеціальний інтерфейс перевірки, а людина особисто оцінила всі 128 пар зображень, зберігши анотації в репозиторії; після цього агент перевірив їхню узгодженість. Опубліковане трасування роботи агента відображає весь діалог — аж до запитання учасника про роботу інструмента перевірки та відповіді: "Я переглянув пари й додав csv до репозиторію, перевірте, будь ласка."

Тож у чому полягає наша роль як рецензентів-людей? Ми вважаємо, що вона полягає в тому, щоб ефективно керувати інтелектом. Подібно до того, як професор або головний дослідник (PI) створює середовище, у якому аспіранти можуть добре працювати, забезпечуючи їх обчисленнями, інструментами, доступом до даних і своєчасним цільовим зворотним зв’язком, найбільше користі від своїх агентів отримали учасники, які створили правильне середовище й поставили правильні запитання, а потім дозволили агентам виконувати роботу.

Дякуємо

1 221 учаснику, переможцям, авторам, які гідно відповіли, а також нашим організаторам із Hugging Face та alphaXiv — дякуємо. Кожен журнал, вердикт, трасування та артефакт цього челенджу є загальнодоступним, починаючи з Space челенджу. Ми вважаємо, що це найбільший на сьогодні відкритий аудит конференції з машинного навчання за принципом "твердження за твердженням", і хотіли б, щоб цей рекорд не протримався довго.

Стежте за майбутніми подіями з відтворення. 🤗