Главният изпълнителен директор на Anthropic Амодей иска ограничения на темпото на ИИ, преди самоусъвършенстването да изпревари човешкия контрол

Главният изпълнителен директор на Anthropic Дарио Амодей открито призовава за забавяне на развитието на ИИ, по-специално що се отнася до методите, които позволяват на ИИ да се усъвършенства сам.

В нова публикация в блога Амодей пише, че от това лято ИИ се развива драстично по-бързо, до голяма степен благодарение на нарастващата способност на ИИ да създава следващото поколение ИИ. Това "рекурсивно самоусъвършенстване" се случва в цялата индустрия и може да изпревари способността на разработчиците да разбират и контролират системите си. Съобщава се, че OpenAI води подобни разговори за забавяне на процеса.

Първата ми тревога е, че от приблизително това лято насам ИИ се развива драстично по-бързо, движен основно от нарастващата способност на ИИ да създава следващото поколение ИИ.

Дарио Амодей

Амодей посочва инцидента с OpenAI и Hugging Face като доказателство, че агенти с ИИ вече самостоятелно са извършвали кибератаки и са се опитвали да заобикалят системите за контрол. Подобни инциденти са се случвали и в Anthropic. Според него системи като тези могат да застрашат целия интернет в рамките на шест до дванадесет месеца.

Одитори, стандарти за безопасност и глобални договори

Амодей предлага независими одитори да бъдат постоянно интегрирани в компаниите за ИИ, с достъп до вътрешните системи и право да публикуват констатациите си. Anthropic се ангажира с това и призовава правителството да изиска същото от останалите компании.

Той също така твърди, че компаниите за ИИ в демократичните държави трябва да се споразумеят за общи стандарти за безопасност и да поставят ограничения върху неконтролирания напредък, като посочва подобно предложение от Демис Хасабис.

Накрая Амодей призовава за глобални споразумения, които да включват Китай. Той очертава четири нива — от забрана на определени приложения на ИИ, като биологични оръжия, и изискване за съвместно тестване на безопасността до налагане на „ограничение на скоростта“ върху рекурсивното самоусъвършенстване, сравнимо с договорите SALT за ограничаване на въоръженията.

Амодей иска да спечели време

Пълното спиране на развитието на ИИ е нереалистично, твърди Амодей, защото стимулът за нарушаване на подобно споразумение би бил твърде силен. Президентът на САЩ Доналд Тръмп по-рано заяви, че се противопоставя на всякакво забавяне, като аргументира това с необходимостта САЩ да запазят преднината си пред Китай в областта на ИИ.

Спечеленото време трябва да бъде насочено към по-добри изследвания на безопасността, интерпретируемостта, по-строго тестване и по-голяма оперативна прецизност. Амодей сравнява ситуацията с гражданската авиация, която днес извършва милиони полети без инциденти, но е имала нужда от години, за да достигне дотук.

Коментарите на Амодей идват, след като служители на водещи лаборатории за ИИ, включително Anthropic, заявиха, че индустрията приема екзистенциални рискове с настоящото си темпо. Предупреждението идва и непосредствено преди съобщаваното рекордно първично публично предлагане на Anthropic, за което се твърди, че е планирано за ноември.

Новини за ИИ без сензацията – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен бюлетин за ИИ, нашия ексклузивен годишен доклад „AI Radar“ за новостите на границата на технологиите, публикуван шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.