Инструментът с отворен код „BootLoops“ помага на AI моделите да извършват прецизни научни изчисления

Автоматизираното решаване на задачи и релевантните изследвания не са едно и също.

Това е изводът от гостуваща публикация на Anthropic, написана от проф. Matthew Schwartz, физик от Харвардския университет. Той описва как е престанал да се опитва да използва Claude като човешки изследовател и вместо това е започнал да търси „задачи с формата на Claude“ — задачи, които се възползват от силните страни на съвременните AI модели. В момента Schwartz е и гост-изследовател в Anthropic.

Този подход води до BootLoops — отворен harness за точни научни изчисления. Изходният код е достъпен в GitHub.

Според Schwartz с помощта на harness-а Claude открива връзки между физиката на елементарните частици, екологията, популационната генетика, икономиката и лингвистиката. Резултатите обаче често придобиват научна стойност едва след намесата на експерти в съответната област, които определят посоката.

Schwartz използва концепцията за „изпъкналата обвивка“, за да покаже как AI може да помага в науката. Човешкото знание е фрагментирано, като отделните области се развиват в различни посоки, а пропуските между тях остават неизследвани. Една лаборатория може да прекара 20 години в изучаване на определен набор от гени с един-единствен метод, оставяйки съседните гени и алтернативните подходи непроучени. Предполага се, че AI harness като BootLoops ще запълни тези пропуски, като установява връзки през назъбените граници на знанието.

36 ръкописа в 18 области за три месеца

За три месеца екипът създава 36 ръкописа в 18 области с участието на 19 съавтори. Schwartz започва с изчисления във физиката на елементарните частици, по-конкретно с амплитуди на разсейване и елиптични интеграли. В рамките на няколко седмици Claude изчислява 30 интеграла с помощта на BootLoops — петнадесет възпроизвеждат известни резултати, а петнадесет са изчислени за първи път.

След това той разширява търсенето към други области. В екологията Claude решава уравнение на 20 години от неутралната теория за биоразнообразието, което преди това е било невъзможно да се изчисли в голям мащаб. Прилагането му към данни показва, че съставът на дървесните видове на остров Баро Колорадо в Панамския канал се променя 4,5 пъти по-бързо, отколкото допуска теорията. Екологът James O'Dwyer след това помага това откритие да бъде превърнато в по-добър прогнозен модел.

В популационната генетика екипът анализира 5,7 милиарда двойки мутации от проекта „1000 генома“ и открива доказателства за механизъм, наречен генна конверсия. Други проекти включват AI редактор на данни за икономически списания, който автоматично проверява 4452 пакета за възпроизвеждане на резултати (публикуван като работен документ на NBER), както и база данни за словесното ударение, обхващаща 6072 езика, създадена с участието на трима лингвисти.

„Python за инженери вече е остарял“

Schwartz описва колко бързо AI променя науката — дотолкова, че предварителното планиране става почти невъзможно. Защо да кандидатствате за тригодишен грант, за да финансирате изчисление, което AI модел може да реши за една нощ?

Обучението на докторанти също се превръща в открит въпрос. Откакто публикува предишния си текст за Vibe Physics, това усещане само се засилва. В някои области, като компютърните науки, промяната е тревожна. Преди две години той би нарекъл курс „Python за инженери“ „задължителен“, но днес го смята за „ненужен“, защото Claude може да се справя с тези задачи.

Изграждането на ML модели за изучаване на физически явления е друга област, която AI вече може да поеме. Дори задълбочените познания за невронните мрежи носят ограничена полза, когато Claude може да прилага по команда актуалното състояние на изследванията в ML.

„Проверявайте всичко сами“

Schwartz предупреждава и за слабостите на моделите. Claude обича да обявява победа твърде рано, а фрази като „готово, с една забележка“ често означават „изобщо не е готово“. Той преценява погрешно колко време ще отнемат задачите и има склонност да решава изчисленията чрез груба сила, вместо да намира по-елегантни решения. Автоматизираните проверки не са надеждни, а заключенията на Claude могат да бъдат погрешни дори когато изчисленията му са правилни.

Освен това моделът се насочва към стари, широко цитирани спорове, вместо към наистина нови въпроси. А проектите са били „интензивни по отношение на изчислителните ресурси и токените“, казва Schwartz.

Schwartz също така смята, че фокусирането върху големи математически задачи и гръмки заглавия крие рискове. Нереалистичните очаквания могат да отвлекат вниманието от продуктивни приложения, които вече работят. Истинският напредък все още ще се гради върху стабилни основи, просто по-бързо. Самият научен метод не е застрашен, а човешките насоки и усетът остават незаменими, казва Schwartz.

AI новини без хайпа — подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен AI бюлетин, нашия ексклузивен доклад за границите на развитието „AI Radar“ шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.