Гендиректор Anthropic Амодеи хочет ограничить темпы развития ИИ, прежде чем самоулучшение опередит человеческий контроль

Генеральный директор Anthropic Дарио Амодеи открыто призывает замедлить развитие ИИ, особенно когда речь идет о методах, позволяющих ИИ улучшать самого себя.

В новой записи в блоге Амодеи пишет, что с этого лета ИИ развивается значительно быстрее, главным образом благодаря растущей способности ИИ создавать следующее поколение ИИ. Это «рекурсивное самоулучшение» происходит во всей отрасли и может опередить способность разработчиков понимать свои системы и контролировать их. По сообщениям, OpenAI ведет аналогичные обсуждения о замедлении темпов.

Моя главная обеспокоенность заключается в том, что примерно с этого лета ИИ развивается резко быстрее, прежде всего благодаря растущей способности ИИ создавать следующее поколение ИИ.

Дарио Амодеи

Амодеи указывает на инцидент с OpenAI и Hugging Face как на свидетельство того, что ИИ-агенты уже самостоятельно осуществляли кибератаки и пытались обходить системы контроля. Аналогичные инциденты происходили и в Anthropic. По его мнению, такие системы могут поставить под угрозу весь интернет в течение шести-двенадцати месяцев.

Аудиторы, стандарты безопасности и глобальные договоры

Амодеи предлагает постоянно размещать независимых аудиторов внутри компаний, занимающихся ИИ, предоставив им доступ к внутренним системам и право публиковать свои выводы. Anthropic берет на себя такое обязательство и призывает правительство потребовать того же от других компаний.

Он также утверждает, что компании, занимающиеся ИИ в демократических странах, должны договориться об общих стандартах безопасности и установить ограничения на неконтролируемое развитие, ссылаясь на аналогичное предложение Демиса Хассабиса.

Наконец, Амодеи призывает к глобальным соглашениям с участием Китая. Он выделяет четыре уровня — от запрета некоторых применений ИИ, таких как биологическое оружие, и требования проводить совместное тестирование безопасности до введения «ограничения скорости» для рекурсивного самоулучшения, сопоставимого с договорами об ограничении стратегических вооружений ОСВ.

Амодеи хочет выиграть время

Полная остановка развития ИИ нереалистична, утверждает Амодеи, поскольку стимул нарушить такое соглашение был бы слишком велик. Ранее президент США Дональд Трамп заявлял, что выступает против любого замедления, аргументируя это необходимостью для США сохранять лидерство в области ИИ над Китаем.

Выигранное время следует направить на улучшение исследований в области безопасности, интерпретируемости, ужесточение тестирования и повышение операционной строгости. Амодеи сравнивает ситуацию с коммерческой авиацией, которая сегодня выполняет миллионы рейсов без происшествий, но пришла к этому лишь спустя годы.

Комментарии Амодеи прозвучали после того, как сотрудники крупных лабораторий, включая Anthropic, заявили, что отрасль принимает экзистенциальные риски при нынешних темпах. Это предупреждение также прозвучало накануне предположительно рекордного IPO Anthropic, которое, как утверждается, запланировано на ноябрь.

Новости ИИ без хайпа — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ и эксклюзивный отраслевой отчет «AI Radar» шесть раз в год, иметь полный доступ к архиву и разделу комментариев.