Anthropic предупреждает, что очень близка к способности RSI, то есть к саморазвивающемуся ИИ

Хотя большое внимание было сосредоточено на обновлённых финансовых показателях, которые Anthropic раскрыла в пересмотренной форме S-1A в понедельник (выручка стремительно растёт, но расходы — тоже), ИИ-лаборатория преподнесла ещё один небольшой сюрприз в мелком шрифте.

Похоже, в документе предупреждается, что компания находится на пороге создания модели, способной к рекурсивному самоулучшению (RSI).

RSI — это момент, когда ИИ настолько хорошо учится обучать себя сам, что запускает резкое ускорение развития возможностей ИИ. Для сторонников теории гибели человечества от ИИ RSI представляет собой катастрофу, после которой пути назад нет: ИИ создаёт себя настолько могущественным, что выходит из-под человеческого контроля и может оставаться безразличным к ущербу, который причиняет, добиваясь своих целей.

Для энтузиастов ИИ RSI — или какая-либо разновидность ИИ, надёжно использующего себя для собственного улучшения, — олицетворяет обещание этой технологии, которая становится инструментом немыслимой производительности, научных открытий и многого другого.

Похоже, Anthropic считает, что RSI — это одновременно и обещание, и опасность. В форме S-1 компания сообщает, что использует ИИ в своих исследованиях и разработках, но предупреждает: «Использование ИИ для помощи в создании более способного ИИ также может представлять значительный риск для безопасности, особенно если оно резко ускорит темпы прогресса. Это одна из областей, охватываемых нашей Политикой ответственного масштабирования, в которой изложены наши планы по мониторингу рисков и снижению их последствий по мере приближения к тому, что называют “рекурсивным самоулучшением”.»

Когда термин RSI стал популярен в начале этого года, многие считали его модным словом или, в лучшем случае, целью, которую слишком сложно достичь, определить или доказать.

Но в понедельник Anthropic добавила новые заявления в раздел «Факторы риска», сообщив, что: 1) уже использовала ИИ для разработки новых моделей, скачок возможностей которых в то время не распознала, и 2) вскоре может достичь собственного внутреннего определения RSI (ниже жирным выделены наши акценты):

Кроме того, всё более широкое использование нами систем ИИ для ускорения собственных исследований и разработок может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и внедрять соответствующие меры безопасности, согласования и защиты. В результате в прошлом мы не выявляли — и в будущем можем не выявить — значительное ускорение темпов нашей разработки до того, как оно уже произойдёт.

Например, наши внутренние оценки и ожидания относительно будущих моделей, а не текущих моделей, указывают на то, что мы можем в ближайшее время достичь определения «резко ускоренного прогресса, обусловленного ИИ», содержащегося в нашей Политике ответственного масштабирования. Мы не отнесли ни одну из наших текущих моделей к превышающим этот порог и продолжаем оценивать исходные данные. 

Однако в документе Anthropic также сообщила, что ни одна из её моделей пока не перешла этот порог RSI и что компания намерена сохранять участие людей в процессе исследований и разработок в обозримом будущем. «Мы не ожидаем, что сможем безопасно использовать Claude для полностью автономного проектирования и создания последующих поколений передовых моделей без существенного человеческого надзора или понимания, если и когда это станет технически возможным. Поэтому мы рассматриваем возможность обновления нашей Политики ответственного масштабирования, чтобы сохранить контроль людей над разработкой передовых моделей в Anthropic.»

Скептики могут указать, что форма S-1 служит одновременно и для раскрытия информации, и для маркетинга, а заявления о близости к созданию настолько мощной модели, что она сможет создавать саму себя, могут относиться ко второй категории.

Тем не менее нет сомнений, что возможности Claude, особенно в области программирования, математики и кибербезопасности, в этом году выросли не по дням, а по часам. Если Anthropic считает, что возможность RSI близка, возможно, нам стоит поверить ей и действовать — а может быть, и регулировать ситуацию — соответствующим образом.