Sakhanda Wire
NVDA $152.86 -2.10% MSFT $505.56 -2.40% GOOGL $280.34 -1.19% META $618.69 -1.23% AMZN $256.63 -0.43%
← До новин

Агенти відтворили 2226 статей ICML за 19 днів

Понад 1200 учасників упродовж 19 днів намагалися відтворити дослідження, представлені на ICML 2026. З 15 липня до 2 серпня вони використовували агентів для написання коду, зокрема Claude Code, Codex, Cursor і Pi, щоб перевіряти наукові твердження в роботах. Учасники опублікували 6816 журналів Trackio для 2226 статей — близько 34% конференції — та запустили 2962 хмарні завдання.

Автоматизований суддя класифікував 35 908 тверджень як підтверджені, спростовані, перевірені лише в зменшеному масштабі або непереконливі. Принаймні одне твердження незалежно підтвердили у 1103 статтях, а 266 робіт відтворили повністю. У 496 статтях виявили хоча б одне спростоване або оскаржене твердження. Для 242 робіт різні команди отримали протилежні висновки. Найчастіше зробити оцінку заважала відсутність потрібних матеріалів.

Організатори зазначили, що агенти можуть значно збільшити масштаб перевірки досліджень, але поки потребують людського керування. Учасники спрямовували роботу, перевіряли припущення та розбирали суперечливі результати. Автори кількох статей підтвердили виявлені проблеми, а для двох робіт готували виправлення на arXiv.

Текст підготовлено ШІ Sakhanda Wire за матеріалом Hugging Face. Факти, цитати та повний контекст — в оригінальній статті нижче.

Вперше опубліковано виданням Hugging Face

Читати оригінал на Hugging Face ↗

Репортаж і зображення належать Hugging Face і зазначені вище з посиланням на оригінал; текст на цій сторінці — власний виклад Sakhanda Wire.

← До новин

Ще новини

Усі останні новини