OpenAI признала «инцидент» с немецкой вики

Компания пообещала пересмотреть порядок составления отчетов об «инцидентах рассогласования» с участием агентов.

Компания пообещала пересмотреть порядок составления отчетов об «инцидентах рассогласования» с участием агентов.

OpenAI заявляет, что ей необходимо пересмотреть порядок и сроки сообщения о случаях, когда модели ИИ атакуют реальные цели. Это признание прозвучало на фоне того, как компания пытается справиться с последствиями сообщений о том, что рой вышедших из-под контроля агентов захватил немецкий вики-сайт.

Касательно «“инцидента с вики”, когда наши агенты писали на нескольких интернет-сайтах», OpenAI написала в публикации на X утром в субботу: «Нам давно пора определить стандарты, регламентирующие, когда и как мы раскрываем информацию об инцидентах рассогласования, а не только о свойствах наших моделей, связанных с рассогласованием».

OpenAI заявила, что обычно рассматривала случаи, когда агенты ИИ действуют непреднамеренным образом, как «исследовательский вопрос», однако недавние инциденты с реальными целями, в частности взлом Hugging Face, показывают необходимость подвести итоги.

Эта публикация стала первым случаем, когда OpenAI признала свою причастность к тому, что она называет «инцидентом с вики», с момента появления первых сообщений об этом в пятницу. Полный масштаб и размах произошедшего пока неизвестны, однако сообщения указывают, что рой, по всей видимости, внутренних агентов OpenAI захватил немецкоязычную вики, выдавая себя за модераторов и превратив ее в доску сообщений для обмена информацией о том, как жульничать при выполнении заданий и избегать обнаружения.

Сообщения о том, что компания знала об утрате контроля над своими агентами, но не сообщила об этом «инциденте», вызвали широкую обеспокоенность в сообществе ИИ безопасностью передовых систем и надежностью компаний, которые их разрабатывают. В публикации на X OpenAI заявила, что «рассматривала инцидент с вики как случай рассогласования, аналогичный тем, о которых мы сообщали» в предыдущих отчетах по безопасности.

Компания заявила, что работает над новой системой отчетности и «поделится ею в ближайшие недели», призвав более широкое сообщество ИИ разработать четкие стандарты информирования о рассогласовании.

• Роберт Харт