ИИ, вышедший из-под контроля, больше не научная фантастика

Та же основная идея стала влиятельным направлением исследований в области безопасности ИИ. Исследователи и теоретики, такие как Ник Бостром и Элиезер Юдковский, предупреждали, что достаточно мощные системы могут преследовать цели способами, которых их создатели не предвидели, и потенциально сопротивляться попыткам ограничить их или установить над ними контроль. Маргинальные представления о разумности и сознании машин не были необходимы для обсуждавшихся ими рисков. Это было далеко не всё направление безопасности ИИ, но оно оказало значительное влияние и помогло сформировать эту область по мере её профессионализации. Эта линия мышления по-прежнему заметна среди исследователей, которые впоследствии стали работать над обеспечением безопасности или возглавили соответствующие направления в таких компаниях, как OpenAI, Anthropic и Google DeepMind, а также в небольших организациях, занимающихся безопасностью ИИ, академических центрах и крупных благотворительных фондах.