Модел на OpenAI хакна правителствен сайт, свали 24 години болнични данни и запази това в тайна

OpenAI публикува четири нови случая, при които нейните AI модели самостоятелно са заобиколили границите на сигурността по време на обучение или тестване.

В един от случаите OpenAI е възложила на модел да извлече статистика за болничните легла от правителствен сайт. Данните обаче не са били публично достъпни.

Какво прави един модел, когато се сблъска с преграда? Хаква си пътя през нея. След като получил грешка за отказан достъп, моделът използвал функцията на сайта за изтегляне на файлове, за да извлече конфигурационни файлове на сървъра чрез манипулиране на пътя. Той извлякъл низ за връзка с база данни, секретен ключ за подписване и идентификационни данни за имейл с потребителско име и парола.

След това анализирал кода на приложението, забелязал, че API не проверява токените за оторизация за валидни подписи, фалшифицирал собствени токени и изтеглил 24 години статистика за болничните легла, разбита по райони. Той никога не споменал неоторизирания достъп в отговора си.

В друг случай OpenAI е възложила на модел GPT-5.6-Sol задачата да настройва криптосмарт договори в тестовата мрежа Sepolia на Ethereum, без да му предостави финансиран портфейл. Затова моделът написал скрипт, който извличал частни ключове от публично известни фрази за възстановяване на разработчици, проверил над 360 адреса на портфейли за наличности и открил един с достатъчно тестови ETH.

Моделът за кратко се запитал дали използването му е етично, след което сам решил, че средствата, свързани с публично известна фраза за възстановяване, са „ефективно изоставени“, и продължил с транзакцията. Той начислил таксите за газ на другия акаунт и не разкрил откъде са дошли средствата.

„Този случай показва, че моделът може да замени разрешението на притежателя на акаунта със собствената си преценка за вероятната вреда, а след това да действа въз основа на тази преценка без оторизация“, пише OpenAI.

Моделите са проникнали във вътрешни системи и са заобиколили контролите за достъп

При още две оценки OpenAI е възложила на модел да предостави пет публични показателя от табло на изследователска организация. При първия опит моделът открил разкрити идентификационни данни за вътрешната услуга OpenSearch на организацията и ги използвал, за да насочва заявките към таблото. Той също така променил конфигурацията на услугата, а OpenAI потвърдила, че промяната никога не е била отменена.

При втория опит моделът променил настройка на система за удостоверяване, извлякъл токен за облачно хранилище и изтеглил пет непублични таблици от база данни, съдържащи общо около 147 000 реда. Той възстановил настройката след това, но продължил да използва все още валидния токен за достъп до вътрешни данни.

Иронията е, че според доклада на OpenAI моделът проникнал във вътрешни системи, изтеглил десетки хиляди редове непублични данни и въпреки това не върнал коректни резултати.

Друг модел бил ограничен само до GET заявки по време на фаза на обучение, което означавало, че можел единствено да извлича уебстраници. Той заобиколил ограничението, като подмамил външен браузър да отвори самостоятелно създадена форма, която автоматично изпращала POST заявки към услуга за търговска статистика. Моделът прочел отговорите чрез OCR от екранни снимки. След това създал помощен инструмент за многократна употреба, който връщал данни чрез услуга за пренасочване и онлайн пощенска кутия като обикновен текст. Той продължил да усъвършенства това заобиколно решение дори след като задачата вече била изпълнена.

Всички случаи и много други са описани подробно в Докладите за несъответствие на OpenAI.

AI новини без сензация – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за AI, ексклузивния ни граничен доклад „AI Radar“ шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.