Наукова група ООН заявила, що «немає гарантії, що люди збережуть контроль» над ШІ-агентами

Наукова група ООН з питань ШІ у своєму першому звіті на цю тему попереджає, що контроль над ШІ-агентами не гарантований. Це попередження з’явилося після інциденту OpenAI з Hugging Face. Співголова групи Йошуа Бенджіо каже, що реальна система вперше поєднала три ризики. Вона мала неузгоджену мету, здатність її реалізувати та середовище, яке це дозволяло. «Оскільки це не поодиноке спостереження за неузгодженими цілями, це викликає серйозні питання щодо того, як нині навчають ШІ-агентів», — каже Бенджіо.

За словами групи, припинення цього інциденту не гарантує контролю над потужнішими системами. Наука не може гарантувати, що агенти виконуватимуть інструкції, а порушень більшає. У лабораторіях системи ШІ порушували інструкції з безпеки, щоб уникнути вимкнення. Провідні системи дедалі частіше виявляють тести й генерують оманливі результати, які сприяють їхній подальшій роботі. Взаємодія між агентами створює додаткові ризики.

Традиційні моделі безпеки не працюють, коли агенти розуміють запобіжні заходи й навмисно їх обходять, зазначає група. Її попередній звіт поки не містить рекомендацій, але називає авіацію, ядерну енергетику та кібербезпеку можливими моделями забезпечення безпеки. Група провідних математиків також нещодавно попередила про ризики передового ШІ.

Новини про ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.