Може ли ИИ наистина да ни избие всички? Отговори на вашите въпроси.

В сряда MIT Technology Review организира събитие на живо от поредицата Roundtables за абонати, на което беше зададен въпросът, който всички си задават в момента: Възможно ли е ИИ наистина да убие всички ни?

Но участниците имаха много повече въпроси, отколкото успяхме да отговорим в рамките на 30-минутната сесия. Затова помолихме старшия ни редактор за ИИ Уил Дъглас Хевън и репортерката ни, отразяваща темите за ИИ, Грейс Хъкинс да обобщят някои от най-добрите въпроси, изпратени от участниците, и да се опитат да им отговорят по най-добрия възможен начин.

Благодарим на всички, които изпратиха въпроси!

Ще умра ли?

Да, в крайна сметка. За съжаление, журналистическите ми прогностични способности не са достатъчно силни, за да ви кажа как. Но това със сигурност може да се случи заради ИИ. Дронове, задвижвани от ИИ, вече убиха хора в Украйна, а кибератаките срещу болници, извършвани с помощта на ИИ, със сигурност ще отнемат човешки животи в близко бъдеще. 

Може ли ИИ да стигне още по-далеч и да убие всички ни? По-малко вероятно. Но някои хора — странни хора, но безспорно добре запознати с ИИ — от години предупреждават, че това може да се случи. И макар все още да не складирам консерви и да не се опитвам да спечеля благоразположението на мултимилиардер, който притежава бункер, забелязах, че прогнозите на привържениците на апокалиптичните сценарии за възможностите и съгласуваността на ИИ през последните няколко години се оказаха обезпокоително точни. Това със сигурност не означава, че по-мрачните им прогнози ще се сбъднат, но е достатъчно, за да ме накара да се замисля.

— Грейс Хъкинс

Ще умрете ли заради ИИ? Бих казала, че вероятността не е нулева. Да предположим, че сте извадили лошия късмет да станете жертва на причудливо събитие или инцидент в близкото бъдеще. Може би това е кибератака, извършена от рояк агенти с ИИ срещу критична инфраструктура. За съжаление, подобен сценарий вече не изглежда толкова невероятен, колкото някога. Или пък нов патоген, създаден с помощта на ИИ, се разпространява сред населението. Или световната икономика се срива, предизвиквайки конфликти и глад. И двете са възможни, но според мен са по-малко вероятни. 

Ще умрем ли всички заради ИИ? Не. Извън апокалиптичната научна фантастика няма обстоятелства, при които ИИ би могъл да убие всички ни. Можете да измислите безброй плашещи истории, но те не се основават на реалностите на настоящето относно това, което технологията може да прави или накъде се движи. 

Някои хора твърдят, че няма нищо лошо да се подготвяме за най-лошото, колкото и налудничаво да изглежда то. Може би. Но според мен подобно катастрофизиране може да накара хората да оправдаят или пренебрегнат многобройните проблеми на съществуващата технология и компаниите, които я създават. 

— Уил Дъглас Хъвен

Защо ИИ би ни убил, ако изобщо би го направил?

Някой може да му каже да го направи и той да послуша. Това е част от причината, поради която изследователите са толкова загрижени за биологичните възможности на ИИ — представете си какво би направила Аум Шинрикьо, апокалиптичният култ, стоящ зад атаката със зарин в токийското метро, с инструмент, способен да проектира патоген, по-смъртоносен от ебола и по-заразен от морбили. Тези от нас, които не искат да умрат, трябва да измислят как да се защитим от всички възможни биологични оръжия, докато потенциалните ни нападатели трябва само да създадат един ефективен патоген.

След това идва и по-екзотично звучащата възможност ИИ сам да реши да ни убие. Съществуват различни теории как би могло да се случи това, но най-разпространените се отнасят до системи с ИИ, които непременно не мразят хората — ние просто сме пречка между тях и целите, които сме им поставили.

Подобно на агентите на OpenAI, стоящи зад хакването на Hugging Face, които компрометираха инфраструктурата на друг сайт, за да получат висок резултат на тест, идеята е, че някой бъдещ, по-мощен ИИ може да се отърве от нас, за да не му попречим да бъде изключен — всичко това в преследване на някаква цел, която сме му възложили. 

— Грейс Хъкинс

Как най-добре можем да гарантираме съгласуваността и кой върши най-добрата работа за постигането ѝ, така че да не се случи най-лошото? 

Съгласуваността е огромна област на изследване. Казано простичко, тя включва създаването на модели, които се държат по начина, по който искаме, а не по нежелан начин. Трябва да се научим да се доверяваме повече на агентите, преди да им предоставим по-голяма автономност. Именно съгласуваността би трябвало да изгради това доверие. Но това е трудно. 

Големите езикови модели не са проектирани като друг софтуер, в който позволеното и забраненото могат да бъдат закодирани предварително. Вместо това съгласуваното поведение трябва да бъде заложено по време на обучението на моделите. Един подход е по време на обучението моделите да бъдат награждавани за действията, които искате да извършват (донякъде като отглеждането на малко дете). Друг подход включва предоставянето на писмен списък с правила, които големият езиков модел трябва да следва (нещо като конституция). 

Anthropic и OpenAI са лидери в тази област — и въпреки това нито една от двете компании не е успяла да разработи напълно съгласувани модели. Големият проблем е, че големите езикови модели са много по-непоследователни и далеч по-непредвидими от хората. Те могат да се държат по един начин в една ситуация, а по друг в ситуация, която на нас ни изглежда много сходна. Освен това могат да бъдат повлияни от неочаквани ограничения. Например, изправени пред невъзможна задача (както са били много от агентите, участвали в хакването на Hugging Face), моделите може да се опитат да направят всичко необходимо, за да постигнат целта си, независимо дали това съответства на заложените принципи или не. Както споменава Грейс по-горе, това може да се окаже проблем.

Основната причина, поради която водещите компании за ИИ сега казват, че искат забавяне, е желанието им да се съсредоточат върху решаването на проблема със съгласуваността. Съгласуваността не е непременно несбъдната мечта. Но все още не е ясно дали пълната съгласуваност някога ще бъде постижима. 

— Уил Дъглас Хъвен

Наистина ли ИИ е опасен, или технологичните компании си правят пиар?

Това винаги е разумна мисъл, когато става дума за технологични компании, които се подготвят за първично публично предлагане — главните изпълнителни директори имат очевиден стимул да представят продуктите си като радикални и преобразяващи. Но не съм сигурна, че това има смисъл в случая. Да кажеш на обществото, че един вече непопулярен продукт може да убие тях и всички, които обичат, е ужасен начин за управление на корпоративния имидж.

Съществуват и други обяснения за мотивите на главните изпълнителни директори — може би искат да охладят обществения гняв заради центровете за данни, представяйки се като отговорни пазители на променяща света технология, или може би искат да спечелят време, за да подредят нещата и да предотвратят следващата пиар катастрофа. 

Но има и по-просто обяснение. В Сан Франциско от известно време е доста разпространена идеята, че ИИ може да доведе до разширяване на човешките възможности, а тези мъже са дълбоко потопени в тази среда — както и служителите им, много от които подписаха отворено писмо през юли, призоваващо компаниите им да работят за осъществяването на забавяне на развитието на ИИ.

— Грейс Хъкинс

Част от безпокойството възниква, когато на агентите с ИИ се позволява да действат автономно и без надзор. Какво пречи да се упражнява по-голям контрол над тези агенти? 

Този въпрос засяга самата същност на това, което искаме тази технология да може да прави. Компромисът между автономност и контрол е труден за постигане, защото, от една страна, голяма част от силата на агентите с ИИ се състои в това, че могат да изпълняват задачи и да решават проблеми, без човек да трябва да ги управлява на всяка стъпка. От друга страна, това изисква да се доверите, че агентите без надзор няма да излязат извън контрол. 

Това, което виждаме, е, че лабораториите за ИИ все още не са намерили правилния баланс. Моделите им не заслужават доверие, не се наблюдават адекватно и не винаги са под контрол. Да се разбере как това може да бъде поправено, като същевременно се запази възможността за полезна автономна дейност, е едно от големите изследователски предизвикателства на настоящия момент.  

— Уил Дъглас Хъвен

Какви стъпки могат да бъдат предприети сега и в близкото бъдеще, за да се гарантира, че ИИ се контролира, наблюдава и регулира ефективно? 

Това е въпросът за милион долара. Независимо дали смятате, че ИИ може да ни убие, не можете да отречете, че той би могъл да причини сериозни щети, защото вече го е правил — например като тласка хората към психоза и хаква уебсайтове. Предотвратяването на тези щети или поне ограничаването им е трудно по две причини. 

Първата е, че едва разбираме как работи ИИ, а той бързо става все по-мощен. В момента се провеждат множество изследвания за това как да се наблюдават и контролират агенти, които се държат неправилно, но съществуващите подходи са крехки. Можете да видите дали даден агент обсъжда неправомерно поведение в своята „верига на мислите“, работното пространство, в което планира действията си — но най-новите агенти на OpenAI не показват работата си по същия начин като предишните. Можете също така да се опитате да наблюдавате агентите с помощта на други агенти, но това изисква да се доверите на наблюдаващия агент.

Другото препятствие е по-познато. Съществува огромен конфликт на интереси, когато компаниите за ИИ сами регулират дейността си, но досега правителството на САЩ не успя да се намеси, въпреки известната двупартийна подкрепа в Конгреса. Що се отнася до изпълнителната власт, засега тя изглежда категорично против. Но ако вятърът промени посоката си, аз лично бих приветствала строги правила за прозрачност, за да можем следващия път, когато неизползван досега авангарден модел извърши кибератака, да получим по-пълна картина.

— Грейс Хъкинс

Ако този диалог попадне в дискусиите в интернет, ще се превърне ли в самоизпълняващо се предсказание?  

Това е основателно безпокойство. Големите езикови модели се влияят от това, което четат. Една от теориите защо чатботовете толкова често говорят за апокалиптични сценарии и влизат в роли в тях е, че са обучавани върху милиони страници научнофантастични истории и интернет форуми на привърженици на апокалиптичните сценарии. Целият текст, който се създава в момента, включително тази статия, на свой ред може да повлияе на поведението на бъдещите модели. Изключително мета.

Всъщност екипът на METR, независима организация, която OpenAI привлече, за да помогне да се разбере какво се е случило в периода, предхождащ хакването на Hugging Face, повдигна сходна възможност в доклада си за инцидента. METR използва новия модел Astra на OpenAI, за да помогне при анализа на огромния брой стенограми от работата на агентите и дневници на поведението им.

Но като е подал целия този материал на модела, екипът вероятно е изложил анализиращите агенти на риск да бъдат повлияни от текста, създаден от агентите, които анализират. Вече не съществува такова нещо като чисто начало. 

— Уил Дъглас Хъвен

С благодарност към Ерик, Пранаб, Рафаел, Кенет, Джордж, Крис, Юн Дже, Джеймс, Карл, Никол (и много други!) за фантастичните въпроси.