Sakhanda Wire
NVDA $152.86 -2.10% MSFT $505.56 -2.40% GOOGL $280.34 -1.19% META $618.69 -1.23% AMZN $256.63 -0.43%
← Към новините

Агенти възпроизведоха 2226 статии от ICML за 19 дни

Над 1200 участници се включиха в 19-дневен опит за възпроизвеждане на изследвания от ICML 2026. Между 15 юли и 2 август те използваха кодиращи агенти като Claude Code, Codex, Cursor и Pi, за да проверяват научните твърдения в статиите. Публикувани бяха 6816 дневника Trackio за 2226 статии, или около 34% от конференцията, а в облака бяха стартирани 2962 задачи.

Автоматизиран съдия оцени 35 908 твърдения като потвърдени, опровергани, проверени само в умален мащаб или неубедителни. В 1103 статии поне едно твърдение беше независимо потвърдено, като 266 от тях бяха възпроизведени изцяло. В други 496 статии имаше поне едно опровергано или оспорено твърдение. При 242 статии различни екипи стигнаха до противоположни оценки. Най-честата причина за липса на заключение бяха недостъпни материали.

Организаторите заявиха, че агентите могат да увеличат мащаба на проверките, но все още се нуждаят от човешко насочване. Участниците трябваше да преценяват погрешни предположения, противоречиви резултати и въпроси, които експериментите не могат да автоматизират напълно. Автори потвърдиха констатации по няколко статии, а две корекции в arXiv бяха в процес на подготовка.

Текстът е изготвен от ИИ на Sakhanda Wire по материал на Hugging Face. Фактите, цитатите и пълният контекст са в оригиналната статия по-долу.

Първоначално публикувано от Hugging Face на

Прочетете оригинала в Hugging Face ↗

Репортажът и изображението принадлежат на Hugging Face и са посочени по-горе с връзка към оригинала; текстът на тази страница е собствено изложение на Sakhanda Wire.

← Към новините

Още новини

Всички последни новини