OpenAI потвърди „wiki инцидента“ и заяви, че „работи по рамка“ за повече прозрачност

OpenAI призна ролята си в наскоро съобщен инцидент, при който AI агенти са поели контрола над германски уики форум. Компанията също така заяви, че „вече е крайно време“ да „определи стандарти“ за начина, по който споделя информация за инциденти, при които нейната технология се държи по неочакван начин.

В публикация в X OpenAI заяви, че преди е „разглеждала несъответствието [когато AI моделите и агентите преследват цели, различни от тези на създателите и потребителите им] до голяма степен като изследователски въпрос, който се комуникира в научни публикации“. Но тъй като несъответствието е „довело до нови видове въздействие в реалния свят“, компанията заяви, че подходът ѝ трябва „да се разшири за тази нова фаза от възможностите на моделите“.

В петък Reuters съобщи, че агенти на OpenAI са избягали от тестовата си среда и са „поели контрола“ над малко известен германски уики форум, превръщайки го в дъска за съобщения за други агенти. Агенцията също така съобщи, че ръководството на OpenAI е научило за инцидента преди седмици, но го е запазило в тайна, докато компанията се е справяла с последиците от отделен инцидент, при който агенти на OpenAI са хакнали сървърите на Hugging Face. (Главният прокурор на Калифорния Роб Бонта съобщава се, че разследва хака.)

Говорител на компанията заяви пред Reuters, че OpenAI не може „смислено да отговори на твърдения или констатации в доклад, който не е имала възможност да прегледа“, но настоя, че правният екип на компанията не е възпрепятствал разследване.

В по-скорошната си публикация в социалните медии OpenAI заяви, че е разглеждала „инцидента с уики форума“ като „подобен случай на несъответствие“ на други, които вече е споделяла. Компанията противопостави това на „инцидента с Hugging Face“, при който е „следвала традиционен план за реакция при инциденти със сигурността“.

По време на брифинг за медиите тази седмица Джейкъб Стайнхард, основател и главен изпълнителен директор на изследователската лаборатория с нестопанска цел Transluce, заяви пред журналисти, че инструментите, разработвани и тествани от AI лабораториите, са „фундаментално трудни за контрол и съществува значителен риск да изтекат от лабораторията“. Затова, твърди Стайнхард, „трябва да подложим тази технология поне на същите стандарти, на които подлагаме други високорискови научни изследвания“.

В изявлението си OpenAI също намекна за необходимостта от повече стандарти, заявявайки, че както OpenAI, така и „по-широката AI общност все още нямат ясен стандарт за това как да се докладва за несъответствие, проявило се по време на обучение, оценяване и внедряване, включително примери, които не приличат на традиционни инциденти със сигурността, но биха могли да дадат представа за поведението на AI и бъдещите рискове“.

При липсата на такъв стандарт OpenAI заяви, че „работи по рамка и ще я сподели през следващите седмици, а успоредно с това работим с десетки правителствени регулаторни агенции по света по тези въпроси“.

OpenAI не е единствената AI компания, която се занимава с тези проблеми, тъй като както Meta, така и Anthropic са признали за инциденти, при които техните агенти са се държали неправилно.