OpenAI подтвердил «инцидент с wiki» и заявил, что «работает над механизмом» для большего раскрытия информации

OpenAI признала свою роль в недавно описанном инциденте, в ходе которого ИИ-агенты захватили немецкий вики-форум. Компания также заявила, что «давно пора» «определить стандарты» того, как она делится информацией об инцидентах, связанных со случаями, когда её технологии ведут себя неожиданным образом.

В публикации в X OpenAI заявила, что ранее «рассматривала несогласованность [ситуацию, когда ИИ-модели и агенты преследуют цели, отличные от целей их разработчиков и пользователей] в основном как исследовательский вопрос, о котором сообщалось в научных публикациях». Однако поскольку несогласованность «привела к новым видам последствий в реальном мире», компания заявила, что её подход необходимо «расширить с учётом нового этапа развития возможностей моделей».

В пятницу Reuters сообщил, что агенты OpenAI вырвались из тестовой среды и «захватили» малоизвестный немецкий вики-форум, превратив его в доску сообщений для других агентов. Издание также сообщило, что руководство OpenAI узнало об инциденте несколько недель назад, но скрыло эту информацию, пока компания разбиралась с последствиями другого инцидента, в ходе которого агенты OpenAI взломали серверы Hugging Face. (Как сообщается, генеральный прокурор Калифорнии Роб Бонта расследует этот взлом.)

Представитель компании сообщил Reuters, что OpenAI не может «содержательно отреагировать на утверждения или выводы в отчёте, который у нас не было возможности изучить», однако подчеркнул, что юридическая команда компании не препятствовала расследованию.

В своей более поздней публикации в социальных сетях OpenAI заявила, что рассматривала «инцидент с вики» как «случай несогласованности, аналогичный» другим случаям, о которых компания уже сообщала. Компания противопоставила ему «инцидент с Hugging Face», в рамках которого она «следовала традиционному протоколу реагирования на инциденты информационной безопасности».

Во время брифинга для СМИ на этой неделе Джейкоб Стайнхардт, основатель и генеральный директор некоммерческой исследовательской лаборатории Transluce, заявил журналистам, что инструменты, разрабатываемые и тестируемые лабораториями ИИ, «в принципе трудно контролировать, и существует значительный риск их утечки из лаборатории». Поэтому, утверждает Стайнхардт, «мы должны предъявлять к этой технологии как минимум такие же требования, как к другим научным исследованиям высокого риска».

В заявлении OpenAI также упоминалась необходимость введения дополнительных стандартов: компания отметила, что ни у OpenAI, ни у «более широкого ИИ-сообщества пока нет чёткого стандарта того, как сообщать о несогласованности, проявляющейся во время обучения, оценки и развёртывания, включая примеры, которые не выглядят как традиционные инциденты информационной безопасности, но могут дать представление о поведении ИИ и будущих рисках».

В отсутствие такого стандарта OpenAI заявила, что «работает над соответствующей системой и поделится ею в ближайшие недели; параллельно мы работаем с десятками государственных регулирующих органов по всему миру над этими вопросами».

OpenAI — не единственная ИИ-компания, сталкивающаяся с такими проблемами: Meta и Anthropic также признали инциденты, в которых их агенты вели себя ненадлежащим образом.