Более 20 ведущих исследователей ИИ предупреждают, что автоматизированные исследования ИИ несут чрезвычайные риски

Если вам было недостаточно, вот ещё одно предупреждение об ИИ: более 20 исследователей в области ИИ, включая Джеффри Хинтона, Йошуа Бенджио и руководителя исследовательского подразделения OpenAI Якуба Пачоцкого, предупреждают о возможном «взрыве интеллекта», вызванном самообучающимся ИИ, в новой исследовательской статье. «Хотя неопределённость всё ещё сохраняется, автоматизация исследований и разработок в области ИИ вскоре может его запустить», — пишут они.

Согласно исследованию, системы ИИ уже пишут большую часть кода в компаниях, которые их создают, и в течение нескольких лет могут автоматизировать весь процесс исследований и разработок в области ИИ. Тогда прогресс, на достижение которого обычно уходят годы, сможет происходить за месяцы. Авторы предупреждают, что общество может не успеть адаптироваться, контроль над сверхчеловеческим ИИ может быть утрачен, а баланс сил между странами, компаниями и правительствами может нарушиться. Они призывают политиков получить гораздо более полное представление о том, как автоматизируются исследования в области ИИ.

Эта статья пополняет растущий список предупреждений. 42 ведущих математика недавно призвали уделять больше внимания экзистенциальным рискам, связанным с ИИ, несколько сотрудников лабораторий ИИ выразили опасения, что ИИ может уничтожить человечество, а сам Пачоцкий заявил, что ни одна лаборатория не решила проблему согласования достаточно хорошо, «чтобы ещё долго продолжать ответственное масштабирование на максимальной скорости». Сообщается, что некоторые сотрудники Anthropic уже подыскивают безопасные убежища на случай, если ИИ выйдет из-под контроля.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный ежегодный шесть раз в год отчёт о передовых разработках «AI Radar», полный доступ к архиву и возможность комментировать статьи.