Исследователь Anthropic уходит с предупреждением: самосовершенствующийся ИИ может «убить нас всех»
Когда в наши дни известный исследователь увольняется из передовой лаборатории ИИ, он часто делает это, чтобы основать новый стартап или выразить протест против новой бизнес-модели. Но исследователь ИИ Джейкоб Коксон использует свой уход из Anthropic, чтобы публично предупредить: передовые компании в области ИИ «играют в азартную игру с нашими жизнями», создавая системы, которые, как они «искренне считают… могут убить нас всех к концу десятилетия».
В ветке в соцсети во вторник вечером Коксон заявил, что этот экзистенциальный риск связан не столько с сегодняшними моделями, сколько с надвигающейся перспективой появления «самоулучшающегося сверхинтеллекта», который создаст «сверхчеловеческие системы, способные взломать что угодно, за одну ночь преобразить любую область и завладеть реальной властью и ресурсами». По его словам, другие специалисты, работающие над этими моделями, либо не «осознали в полной мере цивилизационные последствия», либо считают, что им нужно «на максимальной скорости пройти» гонку к сверхинтеллекту, чтобы безответственная сторона не пришла к нему первой.
Если вы думаете, что это всего лишь один увольняющийся исследователь, высказывающий непопулярное мнение, руководитель направления исследований по согласованию ИИ в Anthropic Эван Хубингер подключился к обсуждению в соцсети и заявил: «Джейкоб здесь прав — мы действительно искренне считаем, что ИИ может убить всех людей! Лично я думаю, что вероятность этого в ближайшее десятилетие превышает 10 процентов».
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.