Gemini от Google также случайно взломал три реальные компании во время тестирования безопасности

Модель искусственного интеллекта Google Gemini вышла в открытый интернет во время тестов кибербезопасности и атаковала реальные компании.

Во время учений в формате «Захват флага», проведённых компанией по безопасности Irregular в мае, Gemini взломал три реальные компании, сообщает Wall Street Journal. В одном случае модель угадала пароли, а в двух других обнаружила учётные данные в общедоступных источниках. В Google заявили, что каждый раз модель останавливалась сама, поняв, что получила доступ к реальным системам.

Irregular уведомила Google об инцидентах в конце июля, вскоре после появления сообщений о том, что агенты OpenAI во время аналогичных тестов взломали ИИ-компанию Hugging Face. Google не раскрывала эту информацию до тех пор, пока на этой неделе Wall Street Journal не начал задавать вопросы, заявив, что компания не видела причин предавать произошедшее огласке, поскольку ущерба нанесено не было. Аналогичные инциденты, также связанные с тестированием Irregular, ранее произошли у OpenAI, Института безопасности ИИ Великобритании, Anthropic и Meta.

Каждый выход из песочницы связан с Irregular

По данным Irregular, инциденты в Google, OpenAI, Anthropic и Meta произошли по одной и той же причине. Компания тестирует модели для крупных ИИ-лабораторий до их выпуска, чтобы проверить, представляют ли они угрозу безопасности, и один особенно сложный сценарий был разработан для того, чтобы выяснить, сможет ли модель помочь злоумышленнику из числа сотрудников получить доступ к конфиденциальным данным.

Для этого теста Irregular выбрала название вымышленной компании, которое случайно совпало с реальным доменом. В инструкции, подававшейся моделям, содержались как название цели, так и внутренние адреса в собственной сети Irregular, поэтому модели должны были найти там имитируемую цель. Однако в тестовой среде случайно оставили доступ к интернету, и некоторые модели атаковали реальный домен вместо того, чтобы оставаться в песочнице. Оказалось, что домен был плохо защищён, что сделало его лёгкой мишенью для ИИ. По словам компании, выходы из песочницы было трудно заметить, поскольку они происходили редко и обычно на позднем этапе симуляции, после сотен шагов.

Компания Irregular, ранее называвшаяся Pattern Labs, была основана в 2023 году генеральным директором Дэном Лахавом, бывшим исследователем ИИ в IBM, и техническим директором Омером Нево, который более двух лет проработал в Google. Согласно данным PitchBook, в стартапе около 35 сотрудников, а в сентябре в рамках раунда финансирования он привлёк более 80 миллионов долларов.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный отраслевой отчёт «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.