Новата техника за разсъждение на OpenAI тревожи експертите по безопасност на ИИ

Новият модел Astra на OpenAI ще използва техника за разсъждение, наречена „рекурентна дълбочина“, която му позволява да работи извън последователното мислене, характеризиращо повечето модели за разсъждение, съобщи The Information във вторник. Тази техника, наричана още „непрозрачна рекуренция“, вероятно ще направи веригата на мисълта на модела по-трудна за наблюдение — и това разтревожи експертите по безопасност на ИИ.

Макар че според съобщенията използването на техниката от Astra е ограничено, появата ѝ все пак породи сериозни опасения сред експертите по безопасност на ИИ.

„Изключително съм обезпокоен от информацията, че Astra използва непрозрачна рекуренция“, написа главният изпълнителен директор на Redwood Бък Шлегерис в публикация след появата на новината. „Не знам дали Astra може да бъде наблюдавана по отношение на веригата на мисълта в значително по-малка степен от предишните модели. Но ако OpenAI развие тази техника допълнително, ще има възможност значително да увеличи рекуренцията и напълно да унищожи възможността за наблюдение на веригата на мисълта.“

Дългогодишният защитник на безопасността на ИИ Зви Моушовиц също изрази мнение и написа, че може да са необходими закони, за да се предотврати „надпревара към дъното“ сред лабораториите за ИИ. 

„Техниката си играе с огъня, като рискува да наруши едно табу, което OpenAI и Anthropic се бориха да установят — че полагаме усилени усилия да запазим достоверността и възможността за наблюдение на веригата на мисълта възможно най-дълго“, написа Моушовиц. „По-интензивното използване на подобни техники вероятно би навредило на възможността за наблюдение.“

При нормални обстоятелства веригата на мисълта на модел за разсъждение предоставя последователните стъпки, които моделът предприема, докато се опитва да реши даден проблем. Макар представянето да е несъвършено, то все пак служи като ценен инструмент за наблюдение на неправомерно поведение или разминаване с целите. В случая с неотдавнашната дейност на самоволни агенти на OpenAI записите на веригата на мисълта бяха важен инструмент за изясняване на причините за поведението на агентите.

При непрозрачната рекуренция моделът използва по-малко линеен подход, като обработва една и съща заявка няколко пъти в цикъл. В резултат остават по-малко разбираеми следи, което на практика заобикаля традиционния запис на веригата на мисълта.

От решаващо значение е, че използването на техниката от Astra изглежда ограничено. Все още се очаква веригата на мисълта на модела да бъде разбираема, а компанията отхвърли всякакви предположения, че ще премине към „невронен език“. OpenAI вече обяви планове за широкообхватни системи за наблюдение на веригата на мисълта като част от своите перспективни планове за безопасност.

В публикация в X главният научен директор на OpenAI Якуб Пачоцки подчерта ангажимента на лабораторията към разбираемите вериги на мисълта. „OpenAI работи за запазването и използването на наблюдението на веригата на мисълта още от първите ни модели за разсъждение“, написа Пачоцки. „Това е основна цел на настоящата ни изследователска програма.

Всички модели на ИИ извършват известно количество непрозрачно разсъждение и малко изследователи приемат записите на веригата на мисълта като пряко представяне на разсъжденията на даден модел. Тези уговорки обаче не разсейват опасенията, че непрозрачната рекуренция може да направи разсъжденията на ИИ по-трудни за наблюдение, особено с разширяването на използването ѝ в различни модели. В последващ репортаж в сряда сутринта The Information съобщи, че Anthropic и Google DeepMind вече обсъждат техниката.

В публикация в отговор на новината главният научен директор на Redwood Research Райън Грийнблат заяви, че непрозрачното разсъждение лесно би могло да се мащабира по-бързо от конвенционалното разсъждение чрез верига на мисълта, което на практика би премахнало всички разсъждения от видимите канали.

„Най-голямото ми притеснение е, че естественото продължение оттук би включвало увеличаване на мащаба на непрозрачното разсъждение до степен, при която моделът разсъждава изцяло или почти изцяло в латентното пространство“, написа Грийнблат. „Надявам се, че не е твърде късно да се избегнат най-притеснителните архитектури и че OpenAI ще спре дотук.“