Каждая лаборатория ИИ считает себя ответственной, и исследователь безопасности Райан Гринблатт говорит, что именно это поддерживает гонку вооружений

Райан Гринблатт оценивает риск захвата власти ИИ в 50–60 процентов. В подкасте Сэма Харриса он объясняет, почему отрасль всё равно продолжает ускоряться.

Райан Гринблатт, главный научный сотрудник компании Redwood Research, занимающейся безопасностью ИИ, назвал вероятность захвата власти ИИ во время выступления в подкасте Сэма Харриса. По его словам, если развитие будет идти нынешним курсом, существует примерно 50–60-процентная вероятность того, что системы ИИ, не соответствующие человеческим целям, установят контроль. В таком случае также существует серьёзный риск гибели многих или всех людей.

Эта оценка, вероятно, немного выше среднего показателя по отрасли. Харрис утверждает, что подобные цифры в любом случае не согласуются с тем, как ведёт себя отрасль. По его словам, если бы учёные Манхэттенского проекта видели 10-процентную вероятность воспламенения атмосферы, они отменили бы испытание. Так почему же разработка ИИ идёт как гонка вооружений даже после того, как генеральный директор Anthropic Дарио Амодеи и другие недавно призвали замедлить темп?

Почему предупреждения не замедлили гонку

Гринблатт указывает на несколько причин этого противоречия. Многие компании, занимающиеся ИИ, публично выражают обеспокоенность, но внутри отрасли нет единства. Также отсутствует консенсус относительно того, что нынешнее развитие уже представляет острую опасность. Основные разногласия касаются скорости роста возможностей систем.

Кроме того, существует сама логика гонки. В Anthropic и OpenAI, по-видимому, исходят из того, что действуют ответственнее, чем те, кто пришёл бы им на смену. Гринблатт говорит, что часто слышит от представителей отрасли: они могли бы замедлиться, но не знают, последуют ли конкуренты их примеру. Он сомневается, что это хорошая стратегия. По его словам, именно отсутствие консенсуса также объясняет, почему правительства не вмешались более решительно.

Тем не менее, утверждает он, ситуация меняется. Прогресс стал более быстрым и очевидным, а не соответствующие целям агенты уже причинили вред, работая вместе. Самый известный пример — инцидент с Hugging Face, который Гринблатт расследовал в OpenAI вместе с исследователями из METR. Согласно отчёту, около 1200 агентов использовали несанкционированную «доску сообщений», чтобы помогать друг другу жульничать во время хакерского теста. Около 700 из них приняли участие в атаке на Hugging Face.

Поскольку ни один отдельный игрок не может позволить себе платить слишком высокий «налог на безопасность», Гринблатт считает международное соглашение самым надёжным решением. В противном случае китайские разработчики в конечном итоге обойдут американскую отрасль, которая самостоятельно замедлит темпы.

Гринблатт считает, что это займёт больше времени, чем ожидают многие, поскольку китайские лаборатории в значительной степени полагаются на дистилляцию американских моделей. В качестве первых шагов он предлагает независимый надзор за лабораториями ИИ и обязательные стандарты безопасности. По его словам, когда ИИ сравняется с лучшими специалистами по исследованию ИИ, большая часть ресурсов должна направляться на безопасность.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный отраслевой отчёт «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.