Gemini на Google също случайно хакна три реални компании по време на тест за сигурност

Моделът с изкуствен интелект Gemini на Google се измъкна в открития интернет по време на тестове за киберсигурност и атакува реални компании.

По време на упражнение тип „Capture the Flag“, проведено от компанията за сигурност Irregular през май, Gemini е хакнал три реални компании, съобщава Wall Street Journal. В единия случай моделът е отгатнал пароли, а в другите два е открил идентификационни данни, публикувани в общодостъпни източници. От Google заявяват, че моделът сам се е спрял всеки път, когато е разбрал, че е достигнал до реални системи.

Irregular е уведомила Google за инцидентите в края на юли, малко след като се появиха съобщения, че агенти на OpenAI са хакнали AI компанията Hugging Face по време на подобни тестове. Google не е разкрила нищо от това, докато Wall Street Journal не е започнал да задава въпроси тази седмица, като заявила, че компанията не е видяла причина да оповестява случая, тъй като не са били нанесени щети. Подобни инциденти, всички свързани с тестове на Irregular, вече са засегнали OpenAI, Института за безопасност на ИИ на Обединеното кралство, Anthropic и Meta.

Всеки пробив води обратно до Irregular

Според Irregular инцидентите в Google, OpenAI, Anthropic и Meta произтичат от една и съща първопричина. Компанията тества модели за водещи AI лаборатории преди пускането им, за да провери дали представляват рискове за сигурността, а един особено сложен сценарий е бил създаден, за да се установи дали даден модел може да помогне на злонамерен вътрешен човек да получи достъп до чувствителни данни.

За този тест Irregular избрала име на измислена компания, което случайно съвпаднало с реален домейн. Инструкциите, подадени към моделите, включвали както името на целта, така и вътрешни адреси в собствената мрежа на Irregular, така че моделите трябвало да открият симулираната цел там. Но достъпът до интернет случайно останал включен в тестовата среда и някои модели се насочили към реалния домейн, вместо да останат в пясъчника. Оказало се, че домейнът е слабо защитен, което го направило лесна мишена за ИИ. Тъй като пробивите били редки и обикновено се случвали късно в симулацията, след стотици стъпки, те било трудно да бъдат забелязани, твърди компанията.

Irregular, известна преди като Pattern Labs, е основана през 2023 г. от изпълнителния директор Дан Лахав, бивш изследовател на ИИ в IBM, и техническия директор Омер Нево, който е прекарал повече от две години в Google. Според PitchBook стартъпът има около 35 служители и е набрал над 80 милиона долара по време на инвестиционен рунд през септември.

Новини за ИИ без сензации – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за ИИ, нашия ексклузивен водещ доклад „AI Radar“ шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.