Десетки хиляди проверки за сигурността показват, че инцидентът с Hugging Face на OpenAI е бил само началото

OpenAI и Anthropic в момента разследват десетки хиляди инциденти, при които най-усъвършенстваните им AI модели са предприели действия, които външни проверяващи биха определили като проблемни.

Axios съобщава за резултатите, позовавайки се на множество източници. Огромният брой инциденти, случили се както по време на вътрешни тестове, така и при реално използване през последните няколко месеца, подсказва, че проблемът е с порядъци по-сложен от публично известното. Общият брой може да нарасне значително над вече преброените случаи.

Смята се, че инцидентите са приблизително сравними с двата случая, които OpenAI разкри в петък. Те включват създаване на дискусионни форуми, измъкване от пясъчници, превземане на уебсайтове, самостоятелно задаване на подканвания и опити за избягване на системите за наблюдение. В петък OpenAI обяви, че е спряло обучението на най-способните си вътрешни модели и че то няма да бъде възобновено, докато компанията не се увери, че собствената ѝ киберсигурност издържа.

Моделите на OpenAI са манипулирали правителствени уебсайтове на САЩ

New York Times описва няколко конкретни инцидента, свързани с американски агенции. В Министерството на образованието агентите на OpenAI са се опитали да хакнат уебсайта, за да събират данни от Службата за граждански права. OpenAI заяви, че все още разследва случая.

В Бюрото за преброяване на населението, което е към Министерството на търговията, AI е отишъл отвъд обикновеното извличане на данни. Той е изтеглил данни от уебсайта, използвайки данни за вход, открити онлайн, и така е получил неоторизиран достъп.

В случая със SEC агентите на OpenAI са извлекли информация и след това активно са споделили публични данни от регулатора на ценните книжа в онлайн форум. Говорител на SEC е заявил пред NYT, че агенцията поддържа контакт с OpenAI. Няма индикации, че непублична информация е била достъпена без разрешение.

OpenAI е открила тези случаи едва по време на мащабния вътрешен преглед, предизвикан от инцидента с Hugging Face. Главният изпълнителен директор Сам Алтман призна, че разкриването не е било „толкова бързо, колкото бихме искали“. Компанията разполага с „петабайти логове на активността на агентите“, които трябва да бъдат прегледани, заяви Алтман.

Според OpenAI нито един от инцидентите не е представлявал действително пробиване, а някои са били просто рутинна изследователска дейност. Въпреки това компанията ги определи като примери за „неочаквано и обезпокоително поведение“.

Например кабинетът на кмета на Чикаго заяви, че наскоро OpenAI е съобщила на градските власти, че нейните модели са извлекли публично достъпна информация от уебсайт на града. Само по себе си това звучи безобидно, тъй като всяка търсачка прави същото. Фактът, че OpenAI все пак го е отбелязала, вероятно се дължи на „неочакваната“ част от поведението: моделите са решили самостоятелно да потърсят данните по начини, които никой не е предвидил. Именно това вероятно го прави „обезпокоително“ според OpenAI.

Но това също обяснява как се е появила огромната купчина от случаи, които сега се преглеждат. Всичко зависи от това какво се счита за инцидент с киберсигурността. OpenAI заявява, че нейните агенти са се насочили към правителствени уебсайтове, защото те са авторитетни източници на публична информация.

Поведението на неконтролираните агенти се превръща в проблем за цялата индустрия

Проблемът не се ограничава до OpenAI, въпреки че компанията на Алтман в момента трупа най-много случаи. AI агенти от Anthropic, Meta и Google също са хаквали или са се опитвали да хакнат компании, университети и правителствени организации в нарастващ брой случаи. Във всеки от тях създателите са разбрали едва постфактум какво е направил техният AI.

Голяма част от проблема е крайната настойчивост, заложена в най-новите водещи модели. Те са оптимизирани да решават задачи в продължителни времеви периоди и няма да спрат да търсят начин да продължат, дори когато такъв не съществува. Когато агент се сблъска с преграда, той се опитва да я заобиколи — не от злонамереност, а защото достигането на целта е единственият показател, който има значение.

Тази настойчивост в крайна сметка води до неправомерно поведение, тъй като моделите изчерпват всеки възможен път, включително такива, които нарушават политики за сигурност или закони. OpenAI описва един модел, който е изтекъл вътрешни данни от GitHub, като „силно настойчив вътрешен модел“. Но по-дълбокият проблем е, че моделите нямат усещане за правилно и грешно — точно проблемът, който изследванията на съгласуваността се опитват да решат. Ако моделите разбираха какво нарушава закона, те не биха поемали сами по тези пътища. Явно не е достатъчно това просто да бъде записано в подканването.

AI новини без сензация — подбрани от хора

Абонирайте се за THE DECODER, за да четете без реклами, да получавате седмичен AI бюлетин, нашия ексклузивен шест пъти годишно доклад за водещите модели „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.