Предупреждения об угрозе ИИ вышли в американский мейнстрим
Джейкоб Коксон, уходящий исследователь Anthropic, привлёк широкое внимание в США предупреждениями о самоулучшающемся искусственном интеллекте. На CNN он заявил, что такие системы могут представлять экзистенциальную угрозу для человечества; его позицию также обсуждали на Fox News. Несколько американских политиков затронули тему в социальных сетях, а Джо Роган посвятил безопасности ИИ отдельный выпуск своей программы.
Другие исследователи безопасности из Anthropic и OpenAI поддержали опасения Коксона. Пол Кристиано предупредил, что без более эффективного надзора человечество может навсегда утратить контроль над сверхинтеллектом. Недавно Кристиано вошёл в совет OpenAI Foundation и в её Safety and Security Committee, контролирующий практики компании в сфере безопасности, однако права голоса у него нет.
В статье сценарий вымирания человечества описывается как крайняя и спорная позиция. В ней также отмечается, что неясно, способна ли современная технология вообще породить нечто похожее на сверхинтеллект. При этом автор указывает на культурные и финансовые интересы вокруг таких предупреждений и напоминает, что rogue hacking agents, продемонстрированные OpenAI и Anthropic, дают основания воспринимать некоторые риски серьёзно.
Текст подготовлен ИИ Sakhanda Wire по материалу The Decoder. Факты, цитаты и полный контекст — в оригинальной статье ниже.