Математическите решения на OpenAI все още не отговарят на стандартите в областта

Когато OpenAI публикува тази седмица стотици предполагаеми решения на някои от най-трудните математически задачи в света, пионерната лаборатория заяви, че се е консултирала с консултативна група от елитни математици, за да избегне противоречията, съпътствали предишния случай, когато един от моделите ѝ реши отдавна нерешен проблем в тази област.

Но OpenAI не успя да изпълни тези стандарти, особено там, където математиците подчертаха необходимостта от човешко разбиране на математическия резултат. Това е особено тревожно, след като нова статия изтъкна несъответствията между обяснението на естествен език и формално изразеното решение на задача за милион долара, за която се твърди, че е решена от моделите на OpenAI.

Консултативната група по математика и изкуствен интелект (AGMAI), чийто домакин е Институтът за напреднали изследвания към Принстънския университет, се състои от девет видни изследователи от институции по целия свят.

В края на септември организацията публикува насоки за пионерните лаборатории, решаващи математически задачи. В изявление относно последния набор от доказателства AGMAI заяви, че „в крайна сметка математическата общност трябва да оцени степента, в която препоръките ни са били успешно следвани“.

Първото искане на организацията обаче беше „да се спре тестването на сложни математически задачи върху собствени модели“. В публикацията на OpenAI изрично се посочва, че тя оценява собствените си модели, използвайки нерешени изследователски задачи по математика.

Консултативната група не отговори на запитването на TechCrunch за по-задълбочена оценка на последната публикация на OpenAI с доказателства. Лабораторията очевидно е следвала някои от принципите ѝ, включително публикуването на резултатите възможно най-скоро и включването на информация за начина, по който моделите са стигнали до заключенията си. Но не и на всички: само 10 от 719-те ръкописа съдържат публикации на веригата на мислите на модела.

За доказателства, които хората не разбират, математиците предложиха те да бъдат формализирани — но само 42% от доказателствата, публикувани от OpenAI, са преминали през този процес.

В крайна сметка все още не е ясно дали OpenAI поема „отговорност да гарантира, че човешкото разбиране ще последва“ при публикуването на доказателствата си, в съответствие с принципите на AGMAI. AGMAI предложи OpenAI да помогне за финансирането на работата на математиците, които ще трябва да направят решенията на лабораторията реално значими.

„Задачите се решават автономно от хора, подаващи подсказки към изкуствен интелект, които нямат интерес към по-широката област, след като първоначалната им цел е „решена“, и не разбират достатъчно добре резултатите на изкуствения интелект, за да отговарят на въпроси относно резултата, да изнасят лекции или по друг начин да взаимодействат с останалата част от общността“, написа в социалните медии след публикацията Терънс Тао, виден математик, който е критикувал подхода на OpenAI.

Този проблем е илюстриран от статия, публикувана тази седмица от математици от Кеймбриджкия университет и Лондонския кралски колеж, която поставя под въпрос начина, по който пионерните лаборатории подхождат към тези предизвикателства.

Когато моделите с изкуствен интелект решават математически задачи, те първо създават обяснение на „естествен език“, а след това се опитват да изразят резултата на Lean — програмен език, който на теория потвърждава точността на доказателството, като го компилира като код.

Възможно е обаче да има проблеми с начина, по който моделите превеждат доказателствата си на естествен език в код; тази статия документира поне две несъответствия между доказателството на естествен език и Lean кода зад решението, предложено от OpenAI, на задача, изведена от уравненията на Навие-Стокс, описващи сложното поведение на флуидите.

Тези несъответствия не опровергават непременно нито едно от двете решения, но повдигат въпроси дали можем просто да разчитаме на моделите да формализират собствените си решения без човешко участие. Това е една от причините AGMAI да поиска от OpenAI да „включва машинночетими метаданни, свързващи кореспондиращите артефакти на естествен език и формалните артефакти“ — нещо, което пионерната лаборатория не направи при тези публикации.

„Поради явлението на неправилните преводи — изтъкнато в тази статия — доказателството на естествен език от OpenAI и
другите автоматично формализирани Lean доказателства не бива да се приемат prima facie за достоверни без същия процес на партньорска проверка и
критичен анализ, на които са подложени и другите доказателства“, заключават авторите на статията „изгубени в превода“.

Математиците подчертават, че когато нови резултати бъдат открити от хора, те поемат отговорност за тях и взаимодействат с по-широката общност чрез статии, лекции и семинари. Този процес задълбочава разбирането на решенията, открива стратегии, които могат да бъдат използвани за решаването на други задачи, и позволява новите знания да бъдат прилагани в практически области.

Когато на даден модел бъде подадена подсказка да реши труден проблем и той изведе решение, „при публикуването му няма човешко разбиране на това решение — и тогава започва работата“, заяви пред TechCrunch Мелани Ууд, професор по математика в Харвардския университет.