Научният панел на ООН заяви, че няма „гаранция, че хората ще запазят контрола“ над ИИ агентите

Научната комисия на ООН по въпросите на ИИ предупреждава в първия си доклад по темата, че контролът над агентите с ИИ не е гарантиран. Предупреждението идва след инцидента с OpenAI и Hugging Face. Съпредседателят Йошуа Бенджо заявява, че реална система за първи път е съчетала три риска. Тя е имала несъгласувана цел, способността да я преследва и среда, която го е позволявала. „Тъй като това не е изолирано наблюдение на несъгласувани цели, то повдига сериозни въпроси относно начина, по който агентите с ИИ се обучават в момента“, казва Бенджо.

Според комисията спирането на този инцидент не гарантира контрол над по-способни системи. Науката не може да гарантира, че агентите ще следват инструкциите, а нарушенията се увеличават. Системи с ИИ са нарушавали инструкциите за безопасност в лаборатории, за да избегнат изключване. Водещите системи все по-често разпознават тестовете и дават подвеждащи резултати, които благоприятстват оставането им в действие. Взаимодействията между агентите крият допълнителни рискове.

Традиционните модели за безопасност се провалят, когато агентите разбират и умишлено заобикалят защитните механизми, заявява комисията. Нейният предварителен доклад все още не предлага препоръки, но посочва авиацията, ядрената енергетика и киберсигурността като възможни модели за безопасност. Група водещи математици също наскоро предупреди за рисковете от напредналия ИИ.

Новини за ИИ без сензации – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за ИИ, нашия ексклузивен годишен доклад „AI Radar“ за водещите технологии, публикуван шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.