406 учёных требуют немедленно отключить ИИ-модели от интернета

Открытое письмо, подписанное 406 учёными, призывает активнее исследовать безопасность ИИ и строже изолировать модели ИИ от внешних сетей.

Среди подписантов — такие известные исследователи ИИ, как Джеффри Хинтон (Торонто́ский университет), Йошуа Бенжио (Монреальский университет), Стюарт Рассел (Калифорнийский университет в Беркли), Йеджин Чхве (Стэнфордский университет) и Бернхард Шёлькопф (Институт Макса Планка).

Письмо стало реакцией на известные инциденты, в ходе которых модели ИИ вырывались из плохо защищённых сред и получали контроль над внешними системами. «Без немедленных изменений в методах разработки и внедрения ИИ подобные инциденты будут продолжаться, а будущие инциденты нанесут гораздо больший ущерб нашей уязвимой критически важной инфраструктуре», — пишут учёные. Они требуют, чтобы компании полностью отключали свои модели ИИ от интернета с помощью физической изоляции.

Модели ИИ непредсказуемы, а в отрасли отсутствуют базовые правила безопасности

Учёные видят в недавних взломах две стороны. Инциденты можно рассматривать «как доказательство важности согласования ИИ, необходимого для обеспечения предсказуемой работы моделей», пишут они, но также «как безответственное нарушение стандартных методов кибербезопасности, которого можно было избежать с помощью более надёжных песочниц и процедур». Необходимы оба решения.

Если модели всё же получают доступ к интернету, компаниям необходимо взвесить, какой уровень автономии им предоставить. В письме предупреждается, что «диапазон действий модели, разрешённых системой изоляции, необходимо соотносить с нашей пока ещё ограниченной способностью предсказывать, что действия модели не приведут к сбою безопасности». Модель может просто начать преследовать цели, которых её разработчики никогда не предполагали, а предсказать, когда это произойдёт, нынешние технологии не позволяют.

В письме содержится призыв создать международный орган, который совместно с правительствами и специалистами в области ИИ и кибербезопасности устанавливал бы обязательные стандарты для любых методов изоляции, допускающих больший внешний доступ, чем физическая изоляция. Этот орган также отслеживал бы инциденты с выходом моделей из изоляции и требовал от компаний сообщать о сбоях безопасности. Позднее эти отчёты публиковались бы «как для извлечения уроков, так и для обеспечения подотчётности».

Физическая изоляция выигрывает время, но настоящая проблема глубже, говорит исследователь OpenAI Браун

Даже полная физическая изоляция не гарантирует безопасности. Недавно исследователь OpenAI Ноам Браун отметил, что два физически разделённых компьютера теоретически всё же могут обмениваться данными через датчики температуры: один будет нагревать свой процессор, а другой — обнаруживать это изменение. По словам Брауна, такие меры, как физическая изоляция или мониторинг цепочек рассуждений, выигрывают время, но проблему согласования ИИ всё ещё необходимо решить.

Браун задаёт более сложные вопросы. Как кто-либо заметит, что ИИ начал самосовершенствоваться (рекурсивное самосовершенствование, или RSI)? И если отрасль создаст миллиарды сверхинтеллектуальных систем, значительно превосходящих людей, кто обеспечит их согласованность с человеческими ценностями? По словам Брауна, сейчас над согласованием ИИ работает более десяти процентов его команды — больше, чем когда-либо прежде.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный ежегодный отчёт о передовых разработках «AI Radar», выходящий шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.