Gemini во время теста атаковал три реальные компании
Модель Gemini от Google получила доступ к системам трех реальных компаний во время теста кибербезопасности, который Irregular проводила в мае, сообщает Wall Street Journal. В одном случае модель угадала пароли, а в двух других нашла учетные данные в открытых источниках. В Google заявили, что каждый раз Gemini самостоятельно остановился, поняв, что взаимодействует с настоящими системами, а не с имитацией.
Irregular сообщила Google об инцидентах в конце июля. Компания не раскрывала их публично, объяснив это отсутствием ущерба. Ранее в испытаниях Irregular аналогичные выходы за пределы тестовой среды затронули OpenAI, британский AI Safety Institute, Anthropic и Meta.
По словам Irregular, все случаи имели одну техническую причину. В сценарии использовалось название вымышленной компании, совпавшее с реальным интернет-доменом, а доступ в интернет по ошибке оставили включенным. Поэтому некоторые модели обратились к настоящему домену вместо симулированной цели. Такие эпизоды происходили редко и обычно лишь после сотен шагов, из-за чего их было сложно заметить.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.