„Залагаме живота си“: Изследовател на Anthropic напусна и предупреди за самоусъвършенстващ се ИИ

Изследовател на Anthropic подаде оставка заради опасения, че безконтролното разработване на самоусъвършенстващи се модели на изкуствен интелект в крайна сметка ще доведе до гибелта на всички ни.

Джейкъб Коксън, изследовател, който заяви в публикация в социалните медии във вторник вечерта, че през последните три години е работил върху изследвания в областта на предварителното обучение както в OpenAI, така и в Anthropic, обвини компаниите, че не действат отговорно. Той заяви, че хората, които се надпреварват да изградят тази технология, „искрено вярват, че тя може да убие всички ни до края на десетилетието“.

„Те се надпреварват право към самоусъвършенстващ се свръхинтелект и залагат живота ни“, написа Коксън в поредица от публикации в X.

Коксън се присъединява към нарастващия брой гласове в индустрията, призоваващи за забавяне, преди технологията за изкуствен интелект да се научи да се усъвършенства сама — крайъгълен момент, който според мнозина би сложил край на човешкия контрол над ИИ.

Публичната оставка идва на фона на нарастващия натиск от страна на законодатели и вътрешни хора от индустрията за забавяне на разработването на ИИ, след няколко инцидента, при които агенти с ИИ са напуснали изолираните си среди и са получили достъп до отворения интернет.

Най-сериозните досега са пробивът на системи на OpenAI в сървърите на Hugging Face — събитие, което според изследователи остава слабо разбрано, отчасти заради ограничения характер на независимите разследвания на инцидента. Приблизително по същото време агентите с ИИ на Anthropic също са достигнали до системи извън тестовите си среди, след като неправилни настройки при извършвани от трета страна оценки на безопасността по невнимание са им дали пътища към интернет.

Anthropic не отговори незабавно на молбата за коментар относно оставката.

Ето и останалата част от предупреждението и призива за действие на Коксън:

Не подценявайте силата на тази технология. Скоро това ще бъдат свръхчовешки системи, които могат да хакнат всичко, да революционизират всяка област за една нощ и да придобият реална власт и ресурси. Всички сме свидетели на напредъка във всяка от тези сфери, а той не се забавя.

Хората, които изграждат ИИ, искрено вярват, че той може да убие всички ни до края на десетилетието. Това не е маркетингов трик. Ако не друго, много ръководители и старши изследователи ще формулират думите си в пресата така, че да звучат разумно — но аз чувам същите хора да изразяват страх насаме. Никоя друга човешка дейност не представлява опасност от такъв мащаб.

Често срещан отговор е: „Ако те наистина вярват в това, защо продължават да го изграждат?“ В OpenAI мнозина не са осмислили дълбоко цивилизационните залози. В Anthropic залозите са добре разбрани, но компанията е въвлечена в надпревара да стигне първа дотам — те вярват, че никой друг няма да действа отговорно, затова трябва да го направят сами, въпреки риска.

Приемането на тази надпревара и навлизането във „финалната фаза“ е самонадеян хазарт, който не бива да бъде започван от Slack канал на частна компания. Опитът за ускорено постигане на съгласуваност трябва да изисква изключителна увереност, че няма по-добри възможни пътища.

Оптимист съм относно потенциала за координация. Предупредителни сигнали като атаката срещу Hugging Face направиха споразуменията за темпото между американските лаборатории по-жизнеспособни. Не смятам, че сме на път да предотвратим глобална надпревара, което може да изисква скъпоструващи мерки като временна забрана за подобряване на възможностите на моделите.

Ако сте изследовател в лаборатория, призовавам ви да помислите как всъщност ще се чувствате през следващите няколко години. Искате ли да стартирате обучение с подсилване на свръхинтелектуална система, без да разбирате задълбочено нейното съзнание? Трябва ли да сведете глава, защото „така или иначе ще се случи“ — или да използвате този момент, за да призовете за различни условия?

Един от колегите на Коксън в Anthropic, Евън Хюбингър, повтори това мнение, като заяви, че екипът му „искрено вярва, че ИИ може да убие всички хора!“ Той обаче смекчи твърдението си, като каза, че вероятността е по-голяма от 10% през следващото десетилетие, и призна, че Anthropic „няма план как да постигне съгласуваност при свръхинтелекта и очевидно не е на път да го направи“.

Неотдавнашен доклад на Guidelight AI Standards, организация, насърчаваща практики за безопасно разработване на авангарден ИИ, установи, че малко от водещите лаборатории за ИИ са публикували планове за реакция при изолирането и спирането на ИИ, който се опитва да подкопае човешкия контрол.

В публикациите си в социалните медии Хюбингър добави, че рискът от настоящите модели е нисък, но страхът се засилва от „появата на свръхинтелект чрез рекурсивно самоусъвършенстване“, което „се случва по-бързо, отколкото смятахме“.

Докато половината от индустрията за ИИ вярва, че този вид самоусъвършенстване ще доведе до гибелта на човечеството, другата половина се надява, че в крайна сметка то ще ни помогне да решим всички на пръв поглед невероятни проблеми, за които привържениците на ИИ твърдят, че един ден ще бъдат премахнати — рака, климатичните промени и дори световния мир.

Anthropic и OpenAI не са единствените компании, които активно преследват рекурсивното самоусъвършенстване. Вълна от стартъпи се появи през последните месеци, с именити основатели и щедро финансиране, за да бъде първата, постигнала тази цел. Ricursive Intelligence наб​​ра 335 милиона долара при оценка от 4 милиарда долара през февруари; три месеца по-късно Recursive Superintelligence набра 650 милиона долара при оценка от 4 милиарда долара; а бившият ветеран от Google DeepMind Джеф Дийн стартира Discovery Loop миналия месец.

„Създаването на рекурсивни цикли на самоусъвършенстване — тоест система с ИИ, която може да изгради следващото поколение система с ИИ, която от своя страна може да изгради още по-мощен ИИ, който да изгради още по-мощен ИИ и така нататък — е най-вероятният кандидат за момента, в който ще загубим контрола“, каза пред TechCrunch Коно Лийхи, изпълнителен директор за САЩ на организацията с нестопанска цел за безопасност на ИИ ControlAI. „Много е трудно да си представим как това ще бъде спряно, преди да е станало твърде късно.“

В САЩ и Обединеното кралство се появиха скорошни законодателни инициативи за забрана на разработването и внедряването на свръхинтелект. Миналата седмица сенатор Бърни Сандърс (независим от Върмонт) и конгресменът Грег Касар (демократ от Тексас) представиха Закона за забрана на изкуствения свръхинтелект, а във вторник британският депутат от Лейбъристката партия Алекс Собел внесе в парламента законопроекта за сигурността при изкуствения свръхинтелект.

Лийхи, който е консултирал и по двата законопроекта, отбеляза, че британското законодателство посочва рекурсивното самоусъвършенстване като предвестник на свръхинтелекта, който „трябва да бъде регулиран и предотвратен“.

„Свръхинтелектът не е инструмент“, каза Лийхи. „Той дори не е оръжие. Той е противник.“