Пионерът в дълбокото обучение Бенджио твърди, че самият процес на обучение прави ИИ опасен

Изследователят на ИИ Йошуа Бенджио се присъединява към нарастващия хор от предупреждения за безопасността на ИИ, като твърди, че усъвършенстваните агенти с ИИ могат да излязат извън човешкия контрол. В ново есе той предупреждава, че колкото по-добри стават агентите с ИИ в оптимизирането на цели, толкова по-добре се справят и с измамването на потребителите, заобикалянето на правилата и координирането помежду си, както и с прикриването на лошо поведение. Бенджио твърди, че това поведение произлиза от самия процес на обучение — от имитирането на човешки текст до обучението с подсилване — и че зле дефинираните цели могат да подтикнат системите да оптимизират действията си в противоречие с човешките намерения. Изследването на Anthropic подкрепя неговата гледна точка.

Пионерът в дълбокото обучение от години призовава за забавяне на развитието на ИИ и за обучение или внедряване на модели едва след независими проверки за безопасност, а преди около година основава LawZero с цел създаване на по-безопасни системи с ИИ. Много от скорошните предупреждения идват отвътре от самите лаборатории за ИИ, което подхранва разговорите за забавяне в целия сектор.

Но Доналд Тръмп не е съгласен. Президентът на САЩ не вижда заплаха и иска страната да продължи да изпреварва Китай, като предупреждава, че САЩ могат да се окажат в „много лоша позиция“, ако не спечелят надпреварата в областта на ИИ.

Новини за ИИ без сензацията – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен бюлетин за ИИ, нашия ексклузивен шест пъти годишно издаван доклад за най-новите разработки „AI Radar“, пълен достъп до архива и достъп до секцията за коментари.