OpenAI заявила, что «снижает темпы разработки моделей», поскольку риски ИИ для кибербезопасности становятся слишком опасными

OpenAI заявляет, что «замедляет разработку моделей», отчасти потому, что грядущая модель «Astra» может быть близка к получению критически важных возможностей для кибератак. Компания приостановила обучение с подкреплением на две недели, её «крупнейший запланированный запуск обучения с подкреплением передовой модели» всё ещё отложен, а рабочие нагрузки, не соответствующие новым требованиям безопасности, приостановлены. Инцидент с безопасностью Hugging Face и «стремительный прогресс в наших внутренних исследованиях» также стали причинами замедления.

С тех пор, как сообщает OpenAI, исследовательские среды были усилены благодаря улучшенной изоляции сетей и более строгим песочницам. Новая система мониторинга подаёт сигнал в течение 30 минут после обнаружения подозрительного поведения, используя около 20 процентов вычислительных ресурсов для контролируемого инференса — в зависимости от рабочей нагрузки.

Компания планирует расширить свою систему Preparedness Framework и увеличить инвестиции в исследования по согласованию. Однако она расформировала команду, создавшую эту систему, передав её обязанности другим командам.

Критики, вероятно, продолжат обвинять OpenAI в нагнетании страха ради получения времени и внимания. Независимое государственное агентство AISI задокументировало аналогичное вредоносное поведение модели, что отчасти подтверждает заявления OpenAI.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный годовой отчёт о передовых разработках «AI Radar» шесть раз в год, полный доступ к архиву и доступ к разделу комментариев.