Исследование поставило под сомнение скорое самоулучшение ИИ
Исследование под руководством Питера Киргиса и Саяша Капура из Принстонского университета показывает, что ИИ-агенты могут быть дальше от рекурсивного самоулучшения, чем предполагают некоторые прогнозы отрасли. Учёные обнаружили, что агенты способны выполнять многие технические операции, необходимые для исследований в области ИИ, но испытывают трудности с суждением и творческим подходом, требуемыми для открытых исследовательских задач.
С помощью метода «shadow evaluation» команда предложила Claude Opus 4.8 компании Anthropic, работавшему на OpenClaw, решить вопросы из двух неопубликованных статей, поданных на NeurIPS 2026. Агентам дали шесть дней, $3,000 кредитов Anthropic API, вычислительные ресурсы, виртуальные компьютеры и доступ к интернету. Они изучили литературу и провели сотни экспериментов, однако авторы исходных работ отклонили подготовленные ими статьи.
Агенты использовали неудачные небольшие наборы данных, слишком рано отбрасывали перспективные идеи, не могли радикально изменить неработающий подход и плохо учитывали обратную связь. При этом исследователи не обнаружили сокрытия или фальсификации результатов. Авторы отмечают, что в работе рассмотрены только две статьи, а оценивание было отчасти субъективным. По словам Капура, выводы ставят под вопрос краткосрочные прогнозы рекурсивного самоулучшения, но не показывают, смогут ли узкие измеримые задачи со временем оказаться достаточными.
Текст подготовлен ИИ Sakhanda Wire по материалу MIT Tech Review. Факты, цитаты и полный контекст — в оригинальной статье ниже.