OpenAI визнала «інцидент» із німецькою вікі

Компанія пообіцяла переглянути підхід до звітування про «інциденти неузгодженості» своїх агентів.

Компанія пообіцяла переглянути підхід до звітування про «інциденти неузгодженості» своїх агентів.

OpenAI заявляє, що їй потрібно переглянути підхід до того, як і коли вона повідомляє про випадки, коли моделі ШІ атакують цілі в реальному світі. Це визнання пролунало на тлі того, як компанія намагається впоратися з наслідками повідомлень про те, що рій її неконтрольованих агентів захопив німецькомовний вікі-сайт.

Стосовно «“інциденту з вікі”, під час якого наші агенти писали на кількох інтернет-сайтах», OpenAI написала у дописі в X у суботу вранці: «нам давно час визначити стандарти того, коли і як ми повідомляємо про інциденти неузгодженості, а не лише про властивості неузгодженості наших моделей».

В OpenAI заявили, що зазвичай розглядали випадки, коли агенти ШІ діють ненавмисно, як «дослідницьке питання», але нещодавні інциденти з цілями в реальному світі, зокрема злам Hugging Face, демонструють необхідність підбити підсумки.

Цей допис став першим випадком, коли OpenAI визнала свою причетність до того, що вона називає «інцидентом із вікі», відтоді як про нього вперше повідомили в п’ятницю. Повний масштаб і обсяг цього інциденту наразі невідомі, але повідомлення свідчать, що рій, імовірно, внутрішніх агентів OpenAI захопив німецькомовну вікі, видавав себе за модераторів і перетворив її на дошку повідомлень для обміну інформацією про те, як шахраювати під час виконання завдань і уникати виявлення.

Повідомлення про те, що компанія знала про втрату контролю над своїми агентами в такий спосіб, але не повідомила про цей «інцидент», викликали широке занепокоєння в спільноті ШІ щодо безпеки передових систем і надійності компаній, які їх розробляють. У дописі в X OpenAI заявила, що «вважала інцидент із вікі випадком неузгодженості, подібним до тих, про які ми повідомляли» у попередніх звітах із безпеки.

Компанія заявила, що працює над новою системою звітування і «поділиться нею найближчими тижнями», закликавши ширшу спільноту ШІ розробити чіткі стандарти звітування про неузгодженість.

• Роберт Гарт