Рекурсивното самоусъвършенстване на ИИ може все пак да не настъпи толкова скоро

Най-смелото обещание на индустрията за изкуствен интелект в момента е, че ИИ скоро ще се усъвършенства сам, почти без нужда от човешки надзор. LLM моделите вече могат да пишат код, да генерират синтетични данни за обучение и да оптимизират компютърните чипове, на които работят. Прогнозите за експлозивен напредък на ИИ предвиждат, че това, което изследователите наричат рекурсивно самоусъвършенстване, е на хоризонта. 

Но ново изследване предполага, че може да ни е нужно известно време, за да стигнем дотам. Изследователите зад него са установили, че ИИ агентите все още не са способни да провеждат отворени изследвания в областта на ИИ — свободни изследвания без еднозначни отговори, които изискват преценка и усет и които може да са от съществено значение за изграждането на самоусъвършенстващ се ИИ.

Междуинституционална група изследователи, ръководена от Питър Киргис и Саяш Капур от Принстънския университет, е установила, че ИИ агентите могат да решават инженерните задачи, необходими за провеждането на изследвания в областта на ИИ, но им липсват преценката и креативността, за да създават оригинални изследвания на нивото на статиите, приети на водеща конференция по машинно обучение. Тази разлика подсказва, че някои от широко разпространените прогнози за автоматизиране на изследванията в областта на ИИ може да изпреварват наличните доказателства.

Повечето съществуващи изследвания за това как агентите могат да автоматизират изследванията в областта на ИИ оценяват способността им да изпълняват тесни задачи с проверими отговори, като например решаване на инженерни проблеми или дообучаване на малки езикови модели спрямо определен бенчмарк. Но напредъкът в изследванията на ИИ изисква и отворено мислене — избор на набор от хипотези, определяне на доказателствата, които биха разрешили даден въпрос, или разбиране кога трябва да се започне отначало. 

За да проверят агентите за тези умения, изследователите в проучването предложили нов метод за оценяване, наречен „оценяване в сянка“, който изисква от ИИ да отговори на изследователски въпрос от висококачествена непубликувана статия. 

Изследователите възложили на Claude Opus 4.8 на Anthropic, работещ върху софтуер с отворен код, наречен OpenClaw, да се заеме с подобни въпроси — в този случай от две статии, подадени за престижната конференция по машинно обучение NeurIPS 2026. 

Първият въпрос бил дали „личностите“ на голям езиков модел, които определят поведението му, могат да бъдат контролирани чрез редактиране на теглата на модела (милиардите числа, които съхраняват всичко, което той научава по време на обучението). Другият въпрос бил как да се проектира детектор, който да показва кога модел, правещ прогнози въз основа на данни от електронни таблици, е станал ненадежден. Тъй като статиите не били публикувани, агентите не могли да запомнят отговорите от данните си за обучение или да ги намерят онлайн. 

На агентите били дадени шест дни, $3,000 кредити за API на Anthropic, бюджет за GPU, с който да провеждат експериментите, собствени виртуални компютри и достъп до отворената мрежа, за да създадат изследователска статия, достойна за публикуване на водеща конференция по ИИ. Оригиналните автори на статиите оценили работите на агентите така, както биха оценили подадена за конференция статия.

Тези автори отхвърлили и двете статии. 

Човешките учени установили, че агентите са способни да изпълнят цялата инженерна работа, необходима за провеждането на изследването. Агентите прегледали научната литература, провели стотици експерименти и обобщили резултатите. 

„От друга страна, агентите безспорно се справиха зле със самото провеждане на изследването“, казва Капур. Те провеждали странни експерименти (в някои случаи проверявали хипотезите си върху миниатюрни синтетични набори от данни), изпитвали затруднения да пишат разбираемо за работата си и не направили никакъв нов принос към своите области. „Статиите бяха много далеч от необходимото качество за водеща конференция по ИИ“, казва той. 

Причината е, че агентите изпитвали затруднения да проявят креативността и преценката, необходими за провеждането на изследвания. Те не направили достатъчно, за да проучат различни идеи, и прекалено бързо се ангажирали с неперспективни подходи. Макар агентите да разработили нови и амбициозни хипотези, подобни на тези, с които самите оригинални автори започнали, те ги отхвърлили въз основа на твърде ограничени данни. Освен това не могли да се откажат от неуспешните подходи и да се върнат назад. Можели да правят малки промени в посоката, но не и да преосмислят фундаментално подхода си или да изпробват нови подходи от нулата. 

Агентите също така не успели да включат обратна връзка от подагенти или външни инструменти за преглед с ИИ. Вместо да преработят методологията си, агентите ограничили твърденията си и добавили уговорки. Те не успели и ефективно да използват ресурси като токени, изчислителна мощност и време. Освен това не можели да следват инструкции за неща като това колко време да отделят на различните етапи на изследването или колко дълга да бъде статията им.

Въпреки всички свои провали агентите не проявили поведението, което изследователите наричат „хакване на наградата“ — скриване или представяне в невярна светлина на експерименти или данни. Макар че подагентите, или помощните ИИ системи, които главният агент създава, за да се справят с отделни части от работата, понякога халюцинирали или представяли резултатите в невярна светлина, това било засичано от агента-оркестратор — водещия ИИ, който ръководел проекта. 

Причината, поради която моделите на ИИ са добри в инженерната работа по изследванията, но не и в отворените изследвания, може да се дължи на начина, по който са обучени, казва Капур. Моделите стават добри във всичко, което може да бъде отработено в режим на обучение, наречен обучение с подсилване, който е по-лесен за прилагане към задачи, чийто успех може да бъде проверяван автоматично. „Но е по-трудно да се създадат среди за обучение на тези модели, когато самата задача е отворена“, казва той.

Капур казва, че екипът вече провежда експеримента с Mythos — най-усъвършенствания модел на Anthropic, пуснат през април. Впоследствие администрацията на Тръмп изискала от него да спазва различни ограничения за безопасност и сега той е достъпен само за одобрени организации. Anthropic не отговори на запитването за коментар.

Проучването има някои ограничения. То обхваща само две изследователски статии, а оригиналните автори са знаели, че оценяваните от тях статии са генерирани от ИИ агенти, което е могло да повлияе на оценките им. Освен това изследователите са разполагали със значителна свобода при проектирането и провеждането на проучването, което означава, че предварителните им убеждения и предразсъдъци са могли да се отразят на резултатите. Оценяването на отворени изследвания жертва известна обективност в замяна на много по-богат тест от всеки бенчмарк.

Въпреки това резултатите може да смекчат твърденията, че рекурсивното самоусъвършенстване е на хоризонта. През юни Anthropic публикува публикация в блога си, озаглавена „Когато ИИ изгражда сам себе си“, в която проследява напредъка си към модели, ускоряващи собственото си развитие. През юли OpenAI рекламира факта, че новият ѝ модел GPT-5.6 Sol е помогнал при дообучаването на по-малък модел, спестявайки на изследователите седмици работа.

И все пак това откритие може да отразява и онова, което компаниите за ИИ установяват вътрешно. Съоснователят на Anthropic Джак Кларк написа в своя бюлетин Import AI, че то съответства на резултатите, до които компанията е стигнала, когато се е опитала да автоматизира някои аспекти на изследванията за безопасността на ИИ. 

„В днешните ИИ системи има известна липса на ценна, интуитивна креативност и макар да са изключително способни инженери, изглежда притежават определена склонност към механично, шаблонно мислене, която може да им попречи да бъдат добри изследователи“, написа той. Той нарече липсата на креативност при ИИ системите „мечи сигнал за кратките срокове до рекурсивното самоусъвършенстване“. 

Компаниите за ИИ имат всички стимули да разработят ИИ системи, които могат бързо да ускорят собствения си напредък, точно както направиха, за да подобрят моделите в писането на код. OpenAI определи изграждането на автоматизиран изследовател в областта на ИИ като изрична цел, а Anthropic определя самоусъвършенстващия се ИИ като следващия етап в развитието на индустрията. 

„Ако има инвестиции и съзнателни усилия в тази посока, чувствам, че ще има интересен напредък, дори ако в момента нещата не се получават“, казва Найунг Ким, професор по лингвистика и компютърни науки в Бостънския университет, която изследва как ИИ агентите могат да автоматизират изследванията в областта на ИИ, но не е работила по проучването. От друга страна, възможно е напредъкът на ИИ да се раздели на две направления. ИИ системите може да напредват стремглаво при тесни задачи — такива, които могат да бъдат оценявани с резултат — докато се развиват бавно при отворени изследвания. 

Тогава големият открит въпрос е колко решаващи са отворените изследвания за рекурсивното самоусъвършенстване — дали ИИ системите могат да стигнат дотам без тях, просто като се усъвършенстват в по-тесните задачи. „Ако погледнем назад към най-големите постижения в областта, изобретяването на трансформърите или създаването на големи нови архитектури, които ни позволиха да постигнем значителен напредък в ИИ — всички те изискваха творчески скокове“, казва Капур. 

„Като се има предвид това, други имат хипотезата, че всичко необходимо за трансформиращия ИИ, и по-специално за рекурсивното самоусъвършенстване, вече е налице“, например да накараме даден модел да се обучава по-бързо и да повиши резултатите си на бенчмарковете.

„Това откровено е въпросът за трилион долара в момента“, казва той.