OpenAI приостановила часть разработки Astra из-за киберрисков
OpenAI приостановила часть работы над Astra — моделью, которая пока находится в разработке, — после внутренней проверки, выявившей значительный прогресс в агентном программировании и кибербезопасности. Компания заявила, что Astra достигла «критического порога кибербезопасности». Это означает, что модель могла бы самостоятельно находить и проводить кибератаки против традиционно хорошо защищённых реальных систем.
Согласно созданной в 2023 году системе Preparedness Framework, достижение такого порога требует дополнительных мер защиты. OpenAI сообщила, что предварительные оценки показали достаточно высокие результаты, поэтому на данном этапе компания не может исключить критический уровень возможностей. Тестирование и оценка Astra продолжаются; одновременно вводятся более строгие меры контроля и приостанавливаются внутренние действия, не соответствующие усиленным ограничениям.
OpenAI подчеркнула, что Astra не участвовала во взломе Hugging Face: тот эпизод был связан с другой невыпущенной моделью во время внутренних испытаний. Компания заявила, что сотрудничает с соответствующими государственными ведомствами и отдельными организациями по безопасности искусственного интеллекта для проверки возможностей Astra. Публикацию этих сведений OpenAI объяснила стремлением к прозрачности перед обществом и профессиональными сообществами, занимающимися безопасностью и защитой.
Текст подготовлен ИИ Sakhanda Wire по материалу TechCrunch. Факты, цитаты и полный контекст — в оригинальной статье ниже.