Притеснени изследователи от Anthropic предупреждават, че ИИ „може да убие всички хора“

Напускащ изследовател казва, че компаниите за ИИ „играят на хазарт с живота ни“, като се надпреварват да разработят самоусъвършенстващ се ИИ.

Напускащ изследовател казва, че компаниите за ИИ „играят на хазарт с живота ни“, като се надпреварват да разработят самоусъвършенстващ се ИИ.

Старши изследовател по безопасността в Anthropic заяви, че има над 10 процента вероятност изкуственият интелект „да убие всички хора“ до края на десетилетието — само часове след като негов колега подаде оставка заради опасения, че лабораторията за ИИ и конкурентите ѝ безразсъдно се надпреварват да създадат „свръхчовешки системи“, които не могат да контролират.

В публикация в X, с която обяви напускането си, Джейкъб Коксън, изследовател, обучавал системи за ИИ в Anthropic, заяви, че е напуснал компанията заради небрежния ѝ подход към безопасността. Коксън, който преди това е обучавал системи за OpenAI, обвини двете компании за ИИ, че „се надпреварват право към самоусъвършенстващ се свръхинтелект и играят на хазарт с живота ни“, въпреки че „хората, които създават ИИ, искрено вярват, че той може да убие всички ни до края на десетилетието“.

Инсайдери от индустрията отдавна изразяват опасения относно потенциалните опасности от самоусъвършенстващите се системи за ИИ, за които предупреждават, че могат да излязат извън човешкия контрол в неудържим цикъл, често описван като рекурсивно самоусъвършенстване. Макар това все още да не се е случило, компаниите активно преследват тази цел, а голяма част от днешния код за ИИ се пише с помощта на ИИ.

В пряк отговор Евън Хубингер, който ръководи един от екипите за безопасност на ИИ в Anthropic, заяви, че се тревожи за самоусъвършенстващия се ИИ, като добави, че това „се случва по-бързо, отколкото предполагахме“. Той също се съгласи с определението на Коксън. „Наистина искрено вярваме, че ИИ може да убие всички хора“, каза той, като лично оценява вероятността на над едно към 10 „през следващото десетилетие“.

Въпреки това Хубингер заяви, че Anthropic „все още няма план“ как да гарантира, че усъвършенстваният ИИ ще остане безопасен и съобразен с човешките ценности, и „очевидно не е на път“ да разработи такъв. Коксън казва, че компаниите са „впримчени в надпревара“ да разработят първи усъвършенствани системи и затова продължават напред „въпреки риска“.

Напускането на Коксън е един от най-известните случаи на служител, напускащ Anthropic — компания, основана от бивши членове на OpenAI след опасения относно безопасността в компанията. През последните години множество изследователи посочиха опасения за безопасността като причина за решението си да напуснат OpenAI.

Обменът илюстрира нарастващите опасения в индустрията относно опасностите от все по-сложните модели на ИИ и скоростта, с която се разработват системите, особено докато компаниите се подготвят за очаквани първични публични предлагания. Това се случва и в момент, когато компаниите се справят с последиците от многобройни инциденти с неконтролируеми агенти и известни предупреждения за безопасността относно възможността за наблюдение на водещите модели.

• Робърт Харт