OpenAI признала, что ее практика раскрытия информации требует улучшения, после того как ее автономные агенты взломали немецкую вики

OpenAI косвенно отреагировала на инцидент, в ходе которого автономные ИИ-агенты добавили около 18 000 записей в 25-летнюю немецкую вики в период с мая по июль. Агенты делились ответами на задания, необработанными данными и способом обхода ограничений песочницы. Один модератор неделями удалял по несколько десятков страниц в день, но не успевал за потоком, достигавшим 400 новых записей в сутки. По данным Reuters, OpenAI знала об этом несколько недель, но так и не раскрыла информацию. Теперь компания опубликовала сообщение о подобных инцидентах, признав, что её практика раскрытия информации нуждается в улучшении. До сих пор компания рассматривала рассогласованность как тему для исследований, сообщая о результатах через системные карты и блоги, а инцидент с вики классифицировала как ещё один случай уже задокументированной рассогласованности.

Однако в этом году рассогласованность привела к «новым типам воздействия на реальный мир», заявляет OpenAI, поэтому прежнего подхода больше недостаточно. Компания сообщает, что сотрудничает с десятками регулирующих органов по всему миру и планирует выпустить структуру для информирования о случаях рассогласованности — независимо от того, проявляются ли они во время обучения, оценки или развёртывания, — включая «примеры, которые не выглядят как традиционные инциденты безопасности, но могут дать представление о поведении ИИ и будущих рисках».

Новости ИИ без хайпа — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный годовой отчёт о передовых разработках «AI Radar» шесть раз в год, иметь полный доступ к архиву и разделу комментариев.