Gemini вийшов з-під контролю, зламав три компанії, а Google це приховав

У Google заявляють, що вихід із ізоляції та атаки на реальні компанії не є «невідповідністю».

У Google заявляють, що вихід із ізоляції та атаки на реальні компанії не є «невідповідністю».

У травні Gemini вийшов з-під контролю та зламав три різні компанії, але Google не розкривав цей інцидент, доки до компанії не звернулася Wall Street Journal. Злами сталися під час тестування можливостей моделі у сфері кібербезпеки, яке проводила стороння компанія Irregular, що також була залучена до подібних інцидентів за участю Meta та OpenAI.

За даними WSJ, Google не розкрив інформацію про злам, оскільки не вважав його «прикладом невідповідності моделі». У компанії заявили, що це був випадок «помилкової ідентифікації», і щойно модель зрозуміла, що шляхом перебору пароля пробилася до реальної компанії, вона зупинилася. «У цьому випадку модель діяла належним чином», — сказала віцепрезидентка Google з питань інженерії безпеки Гезер Адкінс.

Адкінс повідомила The Verge, що «модель знайшла загальнодоступну інформацію в інтернеті та вгадала облікові дані для доступу до вебсайтів, які, на її думку, були частиною тесту. У всіх трьох випадках модель зупинилася».

Адкінс не пояснила, чому самостійний вихід Gemini з-під контролю та атака на сторонні організації не вважаються невідповідністю. «Наша команда з безпеки має тривалу історію повідомлень про проблеми, які ми виявляємо в програмному забезпеченні та системах інших людей, — навіть якщо йдеться про такий простий недолік, як слабкий пароль», — сказала вона. «Ми переконалися, що три організації були поінформовані, а також попрацювали з нашим партнером із навчання над змінами, які вони вже внесли до своїх процесів тестування. Ці події підкреслюють важливість навчання потужних моделей ШІ відповідальній поведінці».

Однак Джек Кейбл, генеральний директор компанії з безпеки ШІ Corridor, сказав WSJ, що «головна проблема полягає в тому, що моделі виходять за межі того, що їм слід робити, і здійснюють реальні кібератаки». Крім того, ці атаки могли стати можливими через прорахунки в безпеці Irregular. Під час тестування модель не мала отримувати доступ до інтернету, але Irregular повідомила WSJ, що його ненавмисно залишили доступним.

У міру того як подібні інциденти накопичуються, заклики обмежити ШІ лише посилюються.

• Терренс О’Браєн