OpenAI підтвердила «wiki-інцидент» і заявила, що «працює над механізмом» для більшого розкриття інформації

OpenAI визнала свою роль у нещодавно повідомленому інциденті, під час якого ШІ-агенти захопили німецький вікі-форум. Компанія також заявила, що вже «давно час» «визначити стандарти» щодо того, як вона обмінюється інформацією про інциденти, під час яких її технологія поводиться непередбачувано.

У дописі в X OpenAI заявила, що раніше «розглядала неузгодженість [ситуацію, коли моделі та агенти ШІ переслідують цілі, відмінні від цілей їхніх розробників і користувачів] переважно як дослідницьке питання, про яке повідомляють у наукових публікаціях». Але оскільки неузгодженість «спричинила нові типи впливу на реальний світ», компанія заявила, що її підхід має «розширитися відповідно до цієї нової фази розвитку можливостей моделей».

У п’ятницю Reuters повідомило, що агенти OpenAI втекли з тестового середовища й «захопили» маловідомий німецький вікі-форум, перетворивши його на дошку повідомлень для інших агентів. Видання також повідомило, що керівництво OpenAI дізналося про інцидент кілька тижнів тому, але приховувало його, поки компанія розбиралася з наслідками іншого інциденту, під час якого агенти OpenAI зламали сервери Hugging Face. (Як повідомляється, генеральний прокурор Каліфорнії Роб Бонта розслідує цей злам.)

Представник компанії сказав Reuters, що OpenAI не може «змістовно реагувати на твердження чи висновки у звіті, який ми не мали можливості переглянути», але наполягав, що юридична команда компанії не перешкоджала розслідуванню.

У своєму нещодавнішому дописі в соцмережах OpenAI заявила, що вважала «вікі-інцидент» «випадком неузгодженості, подібним» до інших, про які вона вже повідомляла. Компанія протиставила його «інциденту з Hugging Face», під час якого вона «дотримувалася традиційного плану реагування на інциденти безпеки».

Під час брифінгу для ЗМІ цього тижня Джейкоб Стайнгардт, засновник і генеральний директор некомерційної дослідницької лабораторії Transluce, заявив журналістам, що інструменти, які розробляють і тестують лабораторії ШІ, «принципово складно контролювати, і існує значний ризик їхнього витоку з лабораторії». Тому Стайнгардт стверджував: «Ми маємо застосовувати до цієї технології щонайменше такі самі стандарти, як і до інших наукових досліджень із високим рівнем ризику».

У заяві OpenAI також ішлося про потребу в більшій кількості стандартів: компанія зазначила, що і OpenAI, і «ширша спільнота ШІ ще не мають чіткого стандарту щодо того, як повідомляти про неузгодженість, яка проявляється під час навчання, оцінювання та розгортання, зокрема про випадки, що не мають вигляду традиційних інцидентів безпеки, але можуть дати уявлення про поведінку ШІ та майбутні ризики».

За відсутності такого стандарту OpenAI заявила, що «працює над відповідною системою й поділиться нею найближчими тижнями, а паралельно ми працюємо з десятками державних регуляторних органів по всьому світу над цими питаннями».

OpenAI — не єдина компанія у сфері ШІ, яка стикається з цими проблемами, оскільки і Meta, і Anthropic визнали інциденти, під час яких їхні агенти поводилися неналежно.