Какво стои зад последните предупреждения на AI индустрията за гибел?

Изглежда, че в индустрията на изкуствения интелект се води най-разгорещеният досега спор дали технологията представлява екзистенциална заплаха за човечеството.

Настоящата дискусия започна, след като изследователят на изкуствения интелект Джейкъб Коксън заяви, че е напуснал Anthropic, защото се притеснява, че водещите компании за изкуствен интелект „играят на хазарт с живота ни“. След това ръководителят на екипа по съгласуване на Anthropic се включи с публикация, в която заяви: „Наистина, искрено вярваме, че изкуственият интелект може да убие всички хора!“, като добави, че лично той смята, че вероятността е „>10% през следващото десетилетие“.

В последния епизод на подкаста Equity на TechCrunch Кърстен Коросек, Шон О’Кейн и аз обсъдихме последните апокалиптични предупреждения. Опитах се да обясня защо съм скептичен към много от разказите на привържениците на идеята за гибелта, причинена от изкуствения интелект, докато Кърстен попита дали това не е „просто странен начин да се похвалят, за да покажат колко напреднал е моделът с изкуствен интелект на компанията им“, особено с оглед на подготовката на тези компании за излизане на борсата.

А Шон се запита как тези опасения могат да се появят в заявлението S-1 на Anthropic за първичното публично предлагане: „Има ли младши юристи, които в момента преглеждат документа и трябва да пренапишат целия този раздел от заявлението S-1, за да кажат: „Официалната позиция на Anthropic е, че има повече от 10% вероятност да създадем нещо, което би унищожило цялото човечество и би било съществено вредно за бизнеса ни“?“

Продължете да четете за предварителен преглед на разговора ни, редактиран за дължина и яснота. (Забележка: Записахме този епизод, преди главният изпълнителен директор на Anthropic Дарио Амодей да публикува плана си за по-предпазливо развитие на изкуствения интелект.)

Шон О’Кейн: Трудно ми е да се сетя за нещо, което да се е разраснало толкова бързо. Не само че това предупредително изявление дойде от този млад изследовател, който е работил и в OpenAI, но и веднага беше споделено в X от ръководителя на екипа по съгласуване в Anthropic — който, с нещо, което може би ще остане в историята като един от най-неуместно поставените удивителни знаци, сподели публикацията и поредицата от публикации на Коксън и каза: „Наистина, искрено вярваме, че изкуственият интелект може да убие всички хора!“ Удивителен знак! 

Каква странна атмосфера. Това просто добави огромно количество гориво към една вече противоречива публикация или поредица от публикации. След хакването на Hugging Face от вътрешния модел на OpenAI, както и предвид нарастващите възможности, които видяхме в последните модели, пуснати от Anthropic, а сега и от OpenAI с Astra преди няколко седмици, мисля, че моментът беше идеален това да се превърне в своеобразен буре с барут за изявлението на този млад изследовател.

Антъни Ха: Само за да не се съглася с теб — наистина смятам, че ако вярваш, че изкуственият интелект може да унищожи цялото човечество, това заслужава удивителен знак. Бих казал, че това е напълно уместно използван удивителен знак!

Проблемът ми с този туит беше по-скоро „ние“. Кои са „ние“? До каква степен можем да говорим за общността на изкуствения интелект или за изследователската общност в тази област като за монолит? А вероятността от над 10% — това е просто измислено число, което не означава нищо. Понякога [съществува] този навик както в технологичната индустрия, така и на други места просто да се подхвърлят проценти, които не се основават на нищо и не са изчислени въз основа на нищо. [Погледнато назад, осъзнавам, че туитът вероятно се е отнасял до концепцията за P(doom), но все пак смятам, че това е нелепо.]

Едно нещо, което ще кажа за изявлението и решението на Коксън, е следното — в Equity има повтаряща се тема: когато някой като Сам Алтман или Дарио Амодей разказва този апокалиптичен сценарий, винаги присъства елементът: „Тогава защо правиш това, което правиш?“ Ако наистина вярваш, че [изкуственият интелект може да унищожи човечеството], няма да продължиш да се занимаваш с това. 

[За разлика от това] тук всъщност имаме човек, който подкрепя думите си с професионалната си траектория. Той на практика казва: „Вярвам, че това е наистина, наистина, наистина лошо и не искам да продължавам да работя по него.“ И затова — уважение към него, че е имал смелостта да го направи, ако не за друго.

Кърстен Коросек: Да, поставям го в отделна категория от всички останали, които казват това и говорят за опасностите.

Ще сложа спекулативната си шапка, защото искам да задам въпрос и на двама ви: Възможно ли е всеки път, когато виждаме все повече публикации в блогове за поредния случай, при който някой от техните агенти с изкуствен интелект неволно пробива защитите, или когато те говорят за това, че човечеството е изложено на риск, това да е странен начин да се похвалят, за да покажат колко напреднал е моделът с изкуствен интелект на компанията им?

Искам да кажа, това звучи доста цинично, но постига именно тази цел. А именно: ако тези модели с изкуствен интелект не бяха напреднали, способни и не пробиваха защитите, нямаше да се налага да се тревожим за тези неща, нали? Това е доста странен начин да се похвалиш с възможностите на моделите, които си създал в собствената си компания.

Антъни: Определено съм се замислял за това. Не смятам, че е напълно цинично, в смисъл че не вярвам всичко да е просто съзнателен маркетингов ход. Мисля, че когато много от тези хора — независимо дали изследователи или главни изпълнителни директори — говорят за това, те изпитват истинска тревога.

Но, разбира се, това съвпада с бизнес интересите им по много начини, когато казват: „Уау, създадохме най-смъртоносния софтуер, създаван някога.“ Не искам да ставам прекалено психоаналитичен, но други са посочвали, че на лично ниво съществува това изкушение: разбира се, искаш да вярваш, че нещото, върху което работиш, е най-важното и най-опасното нещо в света.

Шон: Когато мисля за този въпрос, най-силно ми прави впечатление, че със сигурност има елемент, който създава усещането: „Добре, правим нещо толкова способно, а това по някакъв начин е добре за нас, дори да изглежда зле от много различни гледни точки.“

Мисля, че различното при някои от най-скорошните примери е, че те наистина създават усещането, че тези компании по определен начин не контролират нещата, особено що се отнася до OpenAI.

Продължаваме да виждаме все повече публикации за други вътрешни агенти, които са получили достъп до различни уикита в интернет и си оставят съобщения един на друг, при това по начин, който не изглежда да се управлява компетентно от OpenAI. Представям си, че разказът щеше да бъде малко по-изпипан, ако целта изцяло беше да накара хората да повярват: „О, боже мой, те са създали нещо невероятно способно.“

Другото, което намирам за наистина интересно в този конкретен случай, [е, че] сме на какво — най-много няколко седмици от публикуването на заявлението S-1 на Anthropic за първичното публично предлагане, а само още няколко седмици или месец-два от потенциалното IPO.

Идеята да излезеш и да кажеш тези неща толкова ясно точно преди IPO — много ми е интересно какво означава това за процеса. Колко от този тип информация вече е била включена в заявлението S-1 и в рисковите фактори в документа? Има ли младши юристи, които в момента преглеждат документа и трябва да пренапишат целия този раздел от заявлението S-1, за да кажат: „Официалната позиция на Anthropic е, че има повече от 10% вероятност да създадем нещо, което би унищожило цялото човечество и би било съществено вредно за бизнеса ни“?

Кърстен: Ти предполагаш, че това вече не е включено.

Шон: Именно това казвам: вече включено ли е и сега ли преформулират текста? Или това е нещо, което предизвиква истинска паника? В него трябва да е имало някаква формулировка. Това е една от причините да нямам търпение да прочета този документ — по някакъв начин той може да се окаже дори по-интересен от [заявлението S-1 на] SpaceX, защото съм сигурен, че вероятно ще има специфични за тези идеи неща, които ще бъде интересно да видим.

Кърстен: Ето как стоят нещата: В традиционна инвестиционна среда човек би могъл да смята, че подобен език ще навреди на оценката на компанията, защото тя изведнъж се оказва опасна. Но ние не живеем в нормални времена.

И така, връщайки се към тезата ми, това в крайна сметка може да се окаже странен, но полезен за компанията ход от гледна точка на оценката. Това не е същото като тенденцията за провокиране на гняв, която видяхме миналата година, но е в същата, да кажем, вселена, в която силата, способностите и дори елементите на опасност на нещо се равняват на висока оценка. Така че предполагам, че ще видим след няколко седмици.

Като оставим това настрана за момент, какво се прави по въпроса? И можем ли да контролираме това? Изпълнителният директор на американския клон на нестопанската организация ControlAI, Конър Лийхи, гостува в предаването тази седмица и говори за това. И така, на какво обръщате внимание по отношение на контрола върху опасните аспекти на изкуствения интелект — или вдигаме ръце и наблюдаваме как всичко се развива?

Антъни: Самият аз не разполагам непременно с чудесен отговор на този въпрос, но мисля за някои аспекти на този дебат и може би за причините да реагирам по начина, по който реагирам. 

За да повторя една от тезите на Шон, смятам, че част от това показва до каква степен тези големи компании за изкуствен интелект усещат, че вече всъщност не контролират моделите си. Това определено не е добре. Това е нещо, за което всички би трябвало да се тревожим. 

Мисля, че една от причините да съм скептичен към апокалиптичния разказ или да му се противопоставям, е, че той достига ниво на истерия от типа: „Уау, това може да унищожи човечеството през следващите 10 години.“ Това донякъде отвлича вниманието от по-непосредствените вреди, които изкуственият интелект може да причини — независимо дали са свързани с труда, околната среда или климата. 

В идеалния случай би трябвало да можем да обсъждаме всички тези неща и да имаме регулаторни и други видове защити срещу всички тях [включително екзистенциалната заплаха от изкуствения интелект]. Но щом започнете да използвате изрази като AGI и суперинтелигентност, те просто поглъщат цялото внимание по начин, който не е особено полезен.