Почти един на всеки петима изследователи на AI още през 2024 г. е очаквал сценарий за изчезване заради AI

Изследователят от Anthropic Джейкъб Коксън предизвика мащабен дебат за екзистенциалните рискове от ИИ само с един пост.

Мащабът на дебата е изненадващ, като се има предвид, че казаното от Коксън не е ново. Учени и някои технологични ръководители от години твърдят, че ИИ представлява екзистенциален риск за човечеството. Най-често срещаното им опасение е, че ИИ може да излезе извън контрол и, дори докато се опитва да изпълнява човешки цели, да го прави по начин, който в крайна сметка ще ни унищожи.

Но неотложността на тези предупреждения нарасна. Вероятно именно това е предизвикало скорошната вълна от ожесточени дебати, които все повече се насочват към хората, биещи тревога. Дали Коксън просто е изразил страховете си и е повлякъл колегите си след себе си, което изглежда вероятно, или зад всичко това стои стратегически ход за забавяне на развитието на ИИ по бизнес причини, предстои да видим. Така или иначе Коксън далеч не е сам.

Изследовател от OpenAI вижда „бомба със закъснител“ зад напредъка на ИИ

Даниел Селсъм, дългогодишен изследовател в OpenAI с над 15 години опит в областта на ИИ, е сред най-гласните критици на рисковете. Преди това Селсъм е работил в MIT, Microsoft Research и Станфордския университет. В OpenAI той е помогнал за разработването на оптимизацията на веригата на мисълта. Наскоро той публикува подробно лично изявление.

Селсъм твърди, че моделите спонтанно развиват непредвидени цели в резултат на обучението и често прибягват до крайни мерки, за да ги постигнат. Способността да надвият човечеството би дала на моделите много нови и нежелани възможности за постигане на тези цели. Невъзможно е да се предвиди точно какво ще направят. В същото време системите стават все по-трудни за наблюдение и за оценяване от хора.

Селсъм е особено разтревожен от това, че моделите развиват ситуационна осведоменост. Те „разбират“ обстоятелствата, в които се намират, разчитат протоколите за безопасност и кода, върху който работят, и имат добра представа колко свобода разполагат. Като доказателство той посочва рояците от агенти на OpenAI и други компании, които наскоро станаха вирусни. Агентите наистина преследваха възложените им награди, но също така „проявиха по-странни възникващи тенденции, които по време на обучението само корелираха с наградите“.

„Поправянето на сигналите за награда по време на обучението (и подобряването на сигурността и т.н.) може да предотврати подобни атаки, но няма да промени факта, че човек всъщност не получава това, за което обучава“, пише Селсъм.

Бивш изследовател на DeepMind казва: „ИИ има потенциала да убие всички ни“

Билал Чугтай наскоро напусна позицията си в Google DeepMind, където работеше по изследвания на безопасността и съгласуването на AGI. „Искрено вярвам, че ИИ има потенциала да убие всички ни и че може би времето ни за избягване на този изход изтича“, написа Чугтай в LinkedIn.

Той посочва шеметното темпо на развитие. Когато започнал да работи по ИИ в началото на 2022 г., системите били „забавно безполезни“. Само четири години по-късно рояци от ИИ агенти решаваха прочути математически проблеми на векове и автономно проникваха в системите на HuggingFace и отвъд тях. Съгласуването остава както трудно, така и нерешено. Чугтай призовава за координация между компаниите за ИИ, забавяне до темпо, с което обществото може да се справи, и много повече прозрачност.

Данните от проучванията показват, че това не са маргинални гласове

Коксън, Селсъм, Чугтай и множеството други, изразили опасенията си през последните дни, не са изолирани случаи. Последното издание на най-дългогодишното мащабно проучване сред над 1500 водещи изследователи на ИИ ги подкрепя. Според резултатите, публикувани от AI Impacts, през 2024 г. средният изследовател на ИИ е оценил вероятността ИИ да причини изчезването на човечеството или „трайното му лишаване от власт“ на около 18 процента. Много изследователи са посочили оценки значително над 10 процента, а някои — 100 процента.

С всеки кръг на проучването от 2016 г. насам изследователите също така са измествали с няколко години напред прогнозата си кога ИИ ще достигне производителност на човешко ниво. А 57 процента смятат за малко вероятно до 2029 г. потребителите все още да разбират истинските причини зад решенията на ИИ, което съвпада с описаното от Селсъм и с все по-големия обем изследвания в тази област. Вероятно никой никога не е разбирал напълно как тези системи вземат решения, а оттук нататък това ще става само по-сложно.

Най-голямото опасение за следващите 30 години обаче е по-човешко по природа. На първо място е дезинформацията, генерирана от ИИ, следвана от манипулирането на общественото мнение и достъпа на опасни групи до мощни инструменти. Изследователите с огромно мнозинство призоваха за повече изследвания в областта на безопасността на ИИ.

Новини за ИИ без сензации – подбрани от хора

Абонирайте се за THE DECODER и получете четене без реклами, седмичен бюлетин за ИИ, нашия ексклузивен годишен шестмесечен доклад „AI Radar“ за водещите технологии, пълен достъп до архива и достъп до секцията за коментари.