Піонер глибокого навчання Бенджіо стверджує, що сам процес навчання робить ШІ небезпечним

Дослідник ШІ Йошуа Бенджіо долучається до дедалі більшої кількості попереджень щодо безпеки ШІ, стверджуючи, що передові агенти ШІ можуть вийти з-під контролю людини. У новому есе він попереджає, що чим краще агенти ШІ оптимізують цілі, тим краще вони також уміють обманювати користувачів, обходити правила, координувати дії один з одним і приховувати неналежну поведінку. Бенджіо каже, що така поведінка виникає безпосередньо з процесу навчання — від імітації людських текстів до навчання з підкріпленням, — і що нечітко визначені цілі можуть підштовхнути системи до оптимізації всупереч намірам людини. Дослідження Anthropic підтверджують його погляд.

Першопроходець глибинного навчання роками закликає сповільнити розвиток ШІ і навчати або впроваджувати моделі лише після незалежних перевірок безпеки, а близько року тому заснував LawZero для створення безпечніших систем ШІ. Багато з нещодавніх попереджень надходили безпосередньо з лабораторій ШІ, що спричинило розмови про загальногалузеве уповільнення.

Але Дональд Трамп не погоджується. Президент США не бачить загрози й хоче й надалі випереджати Китай, попереджаючи, що США можуть опинитися в «дуже скрутному становищі», якщо не переможуть у гонці за ШІ.

Новини ШІ без хайпу — відібрані людьми

Підпишіться на THE DECODER, щоб читати без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові розробки «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.