Ученият от Anthropic оценява на над 10% вероятността ИИ да унищожи човечеството през това десетилетие

Джейкъб Коксън, който е прекарал три години в работа по изследвания за предварително обучение на големи модели с изкуствен интелект в OpenAI и Anthropic, напусна Anthropic. Обвинението му е, че и двете компании залагат на карта оцеляването на човешката раса.

Служителят на Anthropic Евън Хюбингер оценява на над десет процента вероятността свръхинтелигентен изкуствен интелект, който не е съгласуван с човешките ценности, да унищожи човечеството през следващото десетилетие. Изказването му дойде в отговор на напускането на Джейкъб Коксън, който ръководеше работата по предварителното обучение в Anthropic, а преди това и в OpenAI.

Коксън смята, че настоящите системи с изкуствен интелект са на прага да станат свръхчовешки. „Това скоро ще бъдат свръхчовешки системи, които могат да хакнат всичко, да революционизират всяка област за една нощ и да придобият реална власт и ресурси“, пише той, добавяйки, че напредъкът е очевиден и не се забавя.

Защо да продължаваме да ги изграждаме, когато опасността е известна?

„Хората, които изграждат изкуствен интелект, искрено вярват, че той може да убие всички ни до края на десетилетието. Това не е маркетингов трик“, пише Коксън. Той твърди, че нито OpenAI, нито Anthropic действат отговорно, а ръководителите умишлено смекчават езика си публично, въпреки че зад затворени врати изразяват истински страх.

В OpenAI много служители не са осъзнали дълбоко рисковете за цивилизацията. Anthropic е различна в това отношение, тъй като рисковете са добре разбрани, но компанията се вижда в капана на надпревара, която се чувства принудена да спечели, защото никоя друга лаборатория не би действала отговорно на нейно място. Коксън нарича това разсъждение „самонадеян хазарт“.

Колегата му от Anthropic Самюъл Маркс споделя това виждане, като пише, че „разработчиците на изкуствен интелект вярват, че технологията им може да причини изчезването на човечеството“ и че „колкото по-висока е позицията на служителя, толкова по-загрижен е той“. Настоящите методи могат само да „насочват изкуствения интелект към по-добро поведение“, но не могат надеждно да го съгласуват с човешките ценности, добавя Маркс, посочвайки скорошни инциденти, при които изкуствени интелекти от няколко разработчици са хакнали изхода си от защитени среди за оценяване, без това да им е било поискано. Много служители „отчаяно искат да забавят темпото“, поради което той е подписал отворено писмо, призоваващо именно за това.

Въпреки острата си критика Коксън е оптимистично настроен относно международната координация, като твърди, че предупредителни сигнали като атаката срещу Hugging Face са направили споразуменията между американските лаборатории за изкуствен интелект относно темпото по-реалистични. Той обаче все още не вижда индустрията по път, който би могъл да предотврати глобална оръжейна надпревара, и предполага, че може да са необходими „скъпоструващи действия“, включително временна забрана за по-нататъшно увеличаване на възможностите на моделите.

Коксън се обръща директно към изследователите в лабораториите, като ги призовава да си представят как всъщност ще изглеждат следващите няколко години: „Искате ли да започнете обучение с подсилване на свръхинтелигентна система, без да разбирате задълбочено нейното съзнание?“

Реална заплаха или масова заблуда?

Страховете са насочени по-малко към днешните модели и повече към RSI — процес, при който моделите с изкуствен интелект се оптимизират сами. Лабораториите се надяват, че RSI ще ускори напредъка, но рискът би бил неконтролирано поведение, излизащо извън контрол. Дали RSI изобщо е възможен с настоящата технология остава спорно, като както скептиците, така и привържениците излагат своите аргументи.

Anthropic е известна с това, че наема хора, които имат особено тревожен поглед към развитието на изкуствения интелект, и тази тревожност е залегнала в корпоративната култура на компанията. Но загрижеността се простира отвъд една-единствена компания. Главният изследовател на OpenAI Пачоцки предупреди по време на представянето на Astra, „че никоя лаборатория не е решила проблемите със съгласуването и наблюдението до степен, достатъчна, за да продължи отговорно да увеличава мащаба с максимална скорост още дълго време“. Повече от 1200 изследователи в областта на изкуствения интелект, включително главният изпълнителен директор на Anthropic Дарио Амодей, Пачоцки и главният учен на Meta AI Шъндзя Джао, наскоро публикуваха отворено писмо, призоваващо за забавяне, а самата Anthropic още през юни предложи идеята за глобална пауза в развитието.

Други изследователи на изкуствения интелект възразяват, като твърдят, че песимистичните прогнози карат хората да се чувстват безпомощни и потиснати, вместо да ги мотивират да търсят решения. Според тях тези предупреждения могат да причинят повече вреда от самия изкуствен интелект, а всяването на страх може да бъде от полза и за бизнеса.

Новини за изкуствения интелект без сензация – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен бюлетин за изкуствения интелект, нашия ексклузивен тримесечен доклад „AI Radar“ за водещите разработки, пълен достъп до архива и достъп до секцията за коментари.