Gemini від Google також випадково зламав три реальні компанії під час тестування безпеки

Модель ШІ Google Gemini вийшла у відкритий інтернет під час тестів кібербезпеки та атакувала реальні компанії.

Під час навчань «Capture the Flag», проведених компанією з безпеки Irregular у травні, Gemini зламав три реальні компанії, повідомляє Wall Street Journal. В одному випадку модель вгадала паролі, а в двох інших знайшла облікові дані у відкритих джерелах. У Google заявляють, що модель щоразу зупинялася сама, щойно усвідомлювала, що отримала доступ до реальних систем.

Irregular повідомила Google про інциденти наприкінці липня, невдовзі після появи повідомлень про те, що агенти OpenAI під час аналогічних тестів зламали компанію з розробки ШІ Hugging Face. Google не розголошувала цю інформацію, доки цього тижня Wall Street Journal не почала ставити запитання, заявивши, що компанія не бачила причин оприлюднювати її, оскільки жодної шкоди завдано не було. Подібні інциденти, пов’язані з тестуванням Irregular, раніше вже траплялися в OpenAI, Інституті безпеки ШІ Великої Британії, Anthropic та Meta.

Кожен вихід за межі середовища тестування пов’язаний з Irregular

За словами Irregular, інциденти в Google, OpenAI, Anthropic і Meta мають одну й ту саму першопричину. Компанія тестує моделі для провідних лабораторій ШІ до їхнього випуску, щоб перевірити, чи становлять вони загрозу безпеці, а один особливо складний сценарій мав показати, чи зможе модель допомогти зловмисному інсайдеру отримати доступ до конфіденційних даних.

Для цього тесту Irregular обрала назву вигаданої компанії, яка випадково збіглася з реальною доменною адресою. Інструкції, передані моделям, містили як назву цілі, так і внутрішні адреси в мережі самої Irregular, тож моделі мали знайти змодельовану ціль саме там. Однак доступ до інтернету випадково залишили ввімкненим у тестовому середовищі, і деякі моделі почали атакувати реальний домен замість того, щоб залишатися в ізольованому середовищі. Виявилося, що домен був погано захищений, що зробило його легкою ціллю для ШІ. За словами компанії, оскільки такі виходи за межі середовища траплялися рідко й зазвичай на пізньому етапі симуляції, після сотень кроків, їх було складно помітити.

Irregular, раніше відома як Pattern Labs, була заснована у 2023 році генеральним директором Деном Лахавом, колишнім дослідником ШІ в IBM, і технічним директором Омером Нево, який понад два роки працював у Google. За даними PitchBook, у стартапі працює близько 35 співробітників, а у вересні під час раунду фінансування він залучив понад 80 мільйонів доларів.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.