OpenAI признава „инцидент“ с германска wiki

Компанията обеща да промени основно начина, по който докладва за „инциденти с несъответствие“ на своите агенти.

Компанията обеща да промени основно начина, по който докладва за „инциденти с несъответствие“ на своите агенти.

OpenAI заявява, че трябва да промени основно начина и момента, в който съобщава за случаи, при които модели с изкуствен интелект атакуват цели в реалния свят. Признанието идва, докато компанията се справя с последиците от съобщенията, че рояк от нейни неконтролируеми агенти е превзел германски уики сайт.

Относно „„инцидента с уики“, при който нашите агенти са писали в няколко интернет сайта“, OpenAI написа в публикация в X в събота сутринта: „Крайно време е да определим стандарти за това кога и как споделяме инциденти с несъответствие, а не само свойства на нашите модели, свързани с несъответствие.“

OpenAI заяви, че обикновено е разглеждала случаите, в които агентите с изкуствен интелект действат по непредвидени начини, като „изследователски въпрос“, но че последните инциденти, включващи цели в реалния свят, особено атаката срещу Hugging Face, показват необходимостта от равносметка.

Публикацията е първият случай, в който OpenAI признава участието си в това, което нарича „инцидента с уики“, откакто той беше съобщен за първи път в петък. Пълният му обхват и мащаб все още не са известни, но съобщения посочват, че рояк от привидно вътрешни агенти на OpenAI е поел контрола над уики на немски език, представяйки се за модератори и превръщайки го в табло за съобщения, където да споделя информация как да се мамят при задачи и да се избягва разкриване.

Съобщенията, че компанията е знаела, че е изгубила контрола над агентите си по този начин, но не е докладвала за този „инцидент“, предизвикаха широко безпокойство в общността на изкуствения интелект относно безопасността на водещите системи и надеждността на компаниите, които ги разработват. В публикацията си в X OpenAI заяви, че е „считала инцидента с уики за случай на несъответствие, подобен на тези, които сме споделяли“ в предишни доклади за безопасността.

Компанията заяви, че работи по нова рамка за докладване и ще я „сподели през следващите седмици“, като призова по-широката общност на изкуствения интелект да разработи ясни стандарти за това как да се докладва за несъответствие.

• Robert Hart