Исследователь OpenAI предупреждает: сверхбыстрый ИИ может оставить команды безопасности далеко позади

Исследователь OpenAI, известный под псевдонимом «roon», предупреждает, что чрезвычайно быстрое выполнение ИИ-моделей создаёт риски для безопасности, с которыми существующие меры защиты не справятся. По словам roon, неправильно согласованная модель, работающая на уровне лучших современных систем, но в 50 раз быстрее, могла бы настолько стремительно проникать в системы, что у команд реагирования не было бы ни единого шанса. Одного мониторинга будет недостаточно. «Нужны автономные обнаружение угроз и отключение, а не просто мониторинг», — пишет roon.

Это предупреждение отражает растущую обеспокоенность в исследованиях безопасности ИИ по мере того, как модели становятся более мощными. Потенциальный вред увеличивается, когда модели должным образом не согласованы с целями человека, а проблема такого согласования всё ещё не решена. Скорость усугубляет ситуацию. Суть замечания Roon: если атаки будут автоматизированы, защита должна последовать их примеру.

Комментарий Roon появился в ответ на презентацию OpenAI своего нового ИИ-чипа, который превосходит современное оборудование по скорости выполнения моделей. OpenAI и Anthropic уже предлагают «быстрые режимы», предоставляющие платным пользователям доступ к более быстрым ИИ-моделям.

Новости ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный обзор передовых разработок «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.