Інструмент із відкритим кодом BootLoops допомагає моделям ШІ виконувати точні наукові обчислення
Ключові моменти
- Фізик із Гарварду Меттью Шварц створив «BootLoops» — відкритий інструмент, який використовує мовні моделі для наукових обчислень і допомагає долати прогалини у знаннях між різними дисциплінами.
- За три місяці Шварц і 19 співавторів підготували 36 рукописів у 18 галузях — від обчислень у фізиці частинок до екологічного моделювання й аналізу геномів.
- Шварц попереджає, що моделі часто оголошують про перемогу надто рано або роблять неправильні висновки з правильних обчислень, тому людський контроль і перевірка залишаються необхідними.
Автоматизоване розв’язання задач і релевантні дослідження — не одне й те саме.
Такий висновок випливає з гостьової публікації Anthropic, написаної професором Меттью Шварцом, фізиком із Гарвардського університету. Він описує, як перестав намагатися використовувати Claude як людина-дослідник і натомість почав шукати «задачі, сформовані під Claude» — завдання, які відповідають сильним сторонам сучасних моделей ШІ. Наразі Шварц також є запрошеним дослідником в Anthropic.
Такий підхід привів до створення BootLoops — відкритого інструмента для точних наукових обчислень. Вихідний код доступний на GitHub.
За словами Шварца, використовуючи цей інструмент, Claude виявив зв’язки між фізикою частинок, екологією, популяційною генетикою, економікою та лінгвістикою. Однак результати часто ставали науково цінними лише після того, як фахівці у відповідних галузях визначали напрям дослідження.
Шварц використовує поняття «опуклої оболонки», щоб проілюструвати, як ШІ може допомагати науці. Людські знання фрагментовані: окремі галузі розвиваються в різних напрямках, тоді як прогалини між ними залишаються недослідженими. Лабораторія може 20 років вивчати певний набір генів за допомогою одного методу, залишаючи без уваги сусідні гени й альтернативні підходи. Інструмент ШІ на кшталт BootLoops має заповнювати ці прогалини, встановлюючи зв’язки між зубчастими межами знань.
36 рукописів у 18 галузях за три місяці
За три місяці команда з 19 співавторів підготувала 36 рукописів у 18 галузях. Шварц почав з обчислень у фізиці частинок, зокрема амплітуд розсіювання та еліптичних інтегралів. Протягом кількох тижнів Claude за допомогою BootLoops обчислив 30 інтегралів: 15 із них відтворювали відомі результати, а ще 15 було обчислено вперше.
Потім він розширив пошук на інші галузі. В екології Claude розв’язав рівняння, якому 20 років, із теорії нейтрального біорізноманіття, яке раніше було неможливо обчислити у великих масштабах. Під час застосування до даних результати показали, що склад деревних видів на острові Барро-Колорадо в Панамському каналі змінюється у 4,5 раза швидше, ніж передбачає теорія. Еколог Джеймс О’Двайєр допоміг перетворити це відкриття на кращу прогностичну модель.
У популяційній генетиці команда проаналізувала 5,7 мільярда пар мутацій із проєкту «1000 геномів» і виявила ознаки механізму, який називається генетичною конверсією. Серед інших проєктів — редактор даних на основі ШІ для економічних журналів, який автоматично перевірив 4 452 пакети реплікації (опубліковано як робочий документ NBER), а також база даних словесного наголосу, що охоплює 6 072 мови й була створена за участю трьох лінгвістів.
«Python для інженерів тепер застарів»
Шварц описує, як швидко ШІ змінює науку, через що планувати наперед стає майже неможливо. Навіщо подаватися на трирічний грант для фінансування обчислення, яке модель ШІ може виконати за одну ніч?
Підготовка докторантів також стала відкритим питанням. Після його попередньої публікації про Vibe Physics це відчуття лише посилилося. У деяких галузях, як-от інформатика, зміни викликають тривогу. Два роки тому він назвав би курс «Python для інженерів» «необхідним», але сьогодні вважає його «непотрібним», оскільки Claude може виконувати такі завдання.
Побудова ML-моделей для вивчення фізичних явищ — ще одна сфера, яку тепер може перебрати на себе ШІ. Навіть глибокі знання нейронних мереж дають обмежену користь, коли Claude може на вимогу реалізувати сучасний стан досліджень у галузі ML.
«Перевіряйте все самостійно»
Шварц також попереджає про слабкі сторони моделей. Claude полюбляє оголошувати про перемогу надто рано, а фрази на кшталт «готово, з одним застереженням» часто означають «зовсім не готово». Він неправильно оцінює тривалість виконання завдань і схильний застосовувати грубу силу до обчислень замість пошуку елегантніших рішень. Автоматизовані перевірки ненадійні, а висновки Claude можуть бути неправильними навіть тоді, коли його обчислення коректні.
Окрім надійності, модель тяжіє до старих, широко цитованих дискусій, а не до справді нових питань. Крім того, за словами Шварца, проєкти «потребували значних обчислювальних ресурсів і великої кількості токенів».
Шварц також вважає ризикованою зосередженість на великих математичних задачах і заголовках у ЗМІ. Нереалістичні очікування можуть відволікати від продуктивних застосувань, які вже працюють сьогодні. Реальний прогрес і надалі будуватиметься на міцному фундаменті, лише швидше. Сам науковий метод не перебуває під загрозою, а людське керівництво й відчуття доречності залишаються незамінними, зазначає Шварц.
Новини ШІ без хайпу — відібрані людьми
Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.
Перекладено автоматично з англійської. Оригінал статті — за посиланням нижче.