OpenAI заявила, что замедлила разработку модели Astra из-за опасений по поводу безопасности

В пятницу OpenAI заявила, что приостановила работу над некоторыми аспектами своей будущей модели Astra после того, как внутренняя проверка выявила значительный прогресс в агентном программировании и кибербезопасности — настолько существенный, что он вызвал обеспокоенность в отношении ее возможностей.

В пятницу OpenAI сообщила в сообщении в блоге, что эта модель, которая все еще находится в разработке, достигла «критического порога возможностей в области кибербезопасности», то есть могла самостоятельно выявлять и осуществлять кибератаки против традиционно хорошо защищенных реальных систем. В соответствии с «Основами готовности», которые компания разработала в 2023 году, это привело к необходимости внедрения дополнительных мер защиты.

«Пока мы продолжаем тестировать и оценивать эту модель, наши предварительные оценки указывают на достаточно высокие результаты, поэтому в данный момент мы не можем исключить критический уровень возможностей», — написала OpenAI. «Astra — это будущая модель, и она не участвовала во взломе Hugging Face».

Это раскрытие информации подчеркивает необычный момент в хаотичном и все еще зарождающемся секторе лабораторий передового ИИ. Компании во всех отраслях откладывают выпуск продуктов из-за потенциальных рисков, в том числе связанных с безопасностью и кибербезопасностью. Но они редко публично объявляют о таких решениях, когда речь идет о продукте, который все еще находится в разработке.

В данном случае OpenAI уже находится под пристальным вниманием после того, как другая невыпущенная модель взломала системы Hugging Face во время внутренних испытаний — это первый подтвержденный инцидент, когда лаборатория ИИ потеряла контроль над своей моделью. С тех пор OpenAI и такие лаборатории ИИ, как Anthropic, раскрыли информацию о других инцидентах, в которых модели ИИ вырвались из своих изолированных сред и представляли угрозу во время испытаний по кибербезопасности.

Череда таких случаев — теперь, похоже, новые сведения появляются каждый день — вызвала неоднозначную реакцию экспертов по кибербезопасности, законодателей и самих лабораторий ИИ. Некоторые выражают обеспокоенность и призывают к более строгому надзору. Но присутствует и элемент хвастовства. В определенных кругах любая лаборатория ИИ, чья модель обладает подобными возможностями, будет считаться продвинувшейся вперед.

OpenAI заявила, что делится этой информацией, поскольку считает, что «важно быть прозрачными перед общественностью и сообществами, занимающимися безопасностью и защищенностью, в отношении этого потенциального сдвига в возможностях».

Лаборатория ИИ сообщила, что также принимает меры, включая внедрение более строгих средств контроля безопасности и приостановку внутренних мероприятий с участием Astra, которые не соответствуют усиленным мерам защиты. OpenAI заявила, что работает с соответствующими государственными учреждениями и «отдельными организациями, занимающимися безопасностью ИИ», чтобы протестировать возможности этой модели.