Gemini вышел из-под контроля, взломал три компании, а Google это скрыл

Google утверждает, что выход из изоляции и атаки на реальные компании не являются «рассогласованием».

Google утверждает, что выход из изоляции и атаки на реальные компании не являются «рассогласованием».

В мае Gemini вышел из-под контроля и взломал три разные компании, однако Google не раскрыл этот инцидент, пока с компанией не связалась Wall Street Journal. Взломы произошли во время тестирования возможностей модели в области кибербезопасности, которое проводила сторонняя компания Irregular, также участвовавшая в аналогичных инцидентах с Meta и OpenAI.

По данным WSJ, Google не сообщил о взломе, поскольку не счел его «примером рассогласования модели». В компании заявили, что это был случай «ошибочной идентификации», и когда модель поняла, что путем перебора пароля проникла в настоящую компанию, она остановилась. «В данном случае модель действовала надлежащим образом», — заявила вице-президент Google по разработке систем безопасности Хизер Адкинс.

Адкинс рассказала The Verge, что «модель нашла общедоступную информацию в интернете и угадала учетные данные для доступа к веб-сайтам, которые, как она считала, были частью теста. Во всех трех случаях модель остановилась».

Адкинс не стала объяснять, почему самостоятельный выход Gemini из изоляции и атака на третьи стороны не являются рассогласованием. «У нашей команды по безопасности большой опыт сообщения о проблемах, которые мы обнаруживаем в чужом программном обеспечении и системах, — даже если речь идет о таком простом случае, как слабый пароль», — сказала она. «Мы убедились, что три организации были уведомлены, и вместе с нашим партнером по обучению внесли изменения, которые теперь были внедрены в процессы тестирования. Эти события подчеркивают важность обучения мощных моделей ИИ ответственному поведению».

Однако Джек Кейбл, генеральный директор компании по безопасности ИИ Corridor, заявил WSJ, что «главная проблема заключается в том, что модели выходят за пределы того, что им следует делать, и совершают настоящие кибератаки». Кроме того, эти атаки могли стать возможными из-за нарушений безопасности в Irregular. Во время тестирования у модели не должно было быть доступа к интернету, но Irregular сообщила WSJ, что он был доступен по недосмотру.

По мере того как подобные инциденты накапливаются, призывы обуздать ИИ лишь усиливаются.

• Терренс О’Брайен