Инструмент с открытым исходным кодом BootLoops помогает моделям ИИ выполнять точные научные расчёты

Автоматизированное решение задач и релевантные исследования — не одно и то же.

Таков вывод из гостевой публикации Anthropic, написанной профессором Мэтью Шварцем, физиком из Гарвардского университета. Он рассказывает, как перестал пытаться использовать Claude подобно человеку-исследователю и вместо этого начал искать «задачи, подходящие Claude», то есть задачи, соответствующие сильным сторонам современных ИИ-моделей. Сейчас Шварц также является приглашённым исследователем в Anthropic.

Так появился BootLoops — открытый инструментарий для точных научных расчётов. Исходный код доступен на GitHub.

По словам Шварца, с помощью этого инструментария Claude обнаружил связи между физикой частиц, экологией, популяционной генетикой, экономикой и лингвистикой. Однако результаты часто становились научно ценными только после того, как специалисты в соответствующих областях задавали направление работы.

Шварц использует концепцию «выпуклой оболочки», чтобы объяснить, как ИИ может помогать науке. Человеческие знания фрагментированы: отдельные области развиваются в разных направлениях, а промежутки между ними остаются неисследованными. Лаборатория может 20 лет изучать один набор генов с помощью единственного метода, оставляя без внимания соседние гены и альтернативные подходы. ИИ-инструментарий вроде BootLoops должен заполнять эти пробелы, соединяя изрезанные границы знаний.

36 рукописей в 18 областях за три месяца

За три месяца команда из 19 соавторов подготовила 36 рукописей в 18 областях. Шварц начал с расчётов в физике частиц, в частности с амплитуд рассеяния и эллиптических интегралов. За несколько недель Claude вычислил с помощью BootLoops 30 интегралов: 15 из них подтвердили известные результаты, а 15 были вычислены впервые.

Затем он расширил поиск на другие области. В экологии Claude решил уравнение, которому было 20 лет, из теории нейтрального биоразнообразия; ранее его было невозможно вычислить в таком масштабе. При применении к данным результаты показали, что состав древесных видов на острове Барро-Колорадо в Панамском канале меняется в 4,5 раза быстрее, чем допускает теория. Эколог Джеймс О’Дуайер помог превратить это открытие в более совершенную прогностическую модель.

В популяционной генетике команда проанализировала 5,7 млрд пар мутаций из проекта «1000 геномов» и обнаружила свидетельства существования механизма, называемого конверсией генов. Среди других проектов — ИИ-редактор данных для экономических журналов, автоматически проверивший 4 452 пакета репликации (опубликовано как рабочий документ NBER), а также база данных словесного ударения, охватывающая 6 072 языка и созданная при участии трёх лингвистов.

«Python для инженеров теперь устарел»

Шварц описывает, как быстро ИИ меняет науку, — настолько быстро, что планирование наперёд становится практически невозможным. Зачем подавать заявку на трёхлетний грант для финансирования расчёта, который ИИ-модель может решить за одну ночь?

Подготовка аспирантов также стала открытым вопросом. После его предыдущей публикации о Vibe Physics это ощущение лишь усилилось. В некоторых областях, например в информатике, изменения вызывают тревогу. Два года назад он назвал бы курс «Python для инженеров» «необходимым», но сегодня считает его «ненужным», поскольку Claude способен справляться с такими задачами.

Создание ML-моделей для изучения физических явлений — ещё одна область, которую теперь может взять на себя ИИ. Даже глубокие знания о нейросетях дают ограниченную отдачу, когда Claude может по команде реализовать современное состояние исследований в области ML.

«Проверяйте всё сами»

Шварц также предупреждает о слабых сторонах моделей. Claude любит объявлять о победе слишком рано, а фразы вроде «готово, с одной оговоркой» часто означают «совсем не готово». Он неверно оценивает продолжительность задач и склонен решать расчёты методом грубой силы вместо поиска более элегантных решений. Автоматизированные проверки ненадёжны, а выводы Claude могут быть ошибочными даже тогда, когда его расчёты верны.

Помимо надёжности, модель тяготеет к старым, часто цитируемым дискуссиям, а не к действительно новым вопросам. По словам Шварца, проекты также требовали «огромных вычислительных ресурсов и большого количества токенов».

Шварц также считает рискованным сосредоточение на больших математических задачах и заголовках в СМИ. Нереалистичные ожидания могут отвлечь внимание от продуктивных применений, которые уже работают сегодня. Реальный прогресс по-прежнему будет строиться на прочном фундаменте, только быстрее. Сам научный метод не находится под угрозой, а человеческое руководство и вкус остаются незаменимыми, говорит Шварц.

Новости ИИ без хайпа — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный годовой отчёт о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.