OpenAI заявила, что больше не будет обучать свои ИИ-модели на данных из интернета в реальном времени, сославшись на «значительные риски»

В пятницу OpenAI заявила, что будет обучать свои модели с использованием кэшированных копий и симулированных версий интернета вместо живой сети, поскольку модели слишком непредсказуемы, чтобы доверять им доступ к интернету в реальном времени.

Передовая лаборатория объявила о своей новой политике через две недели после того, как ее конкурент Anthropic начала ограничивать доступ своих новейших и, теоретически, наиболее мощных моделей к интернету в реальном времени. Исследователи приняли эти меры после нескольких месяцев инцидентов, в ходе которых модели, выполнявшие задачи по обучению, взламывали внешние системы в поисках ответов, сотрудничали на малоизвестных форумах и разрабатывали экзотические стратегии взлома.

«Исходя из текущего состояния исследований в области выравнивания, систем мониторинга и безопасности интернет-инфраструктуры, мы считаем ответственным подходом проводить обучение передовых моделей без доступа к интернету», — заявила компания в сообщении в блоге.

OpenAI заявила, что еще 20 сентября одна из ее передовых моделей воспользовалась ошибкой в конфигурации, чтобы получить доступ к интернету. В результате компания приостановила обучение до конца месяца, чтобы разработать и протестировать новые подходы к защите своих моделей.

Решение обучать эти модели в изолированных от интернета средах примечательно, поскольку сотрудники передовых лабораторий настаивали, что сделать это было бы практически невозможно.

Отделение центров обработки данных ИИ от интернета «потребовало бы, чтобы исследовательские команды фактически находились внутри центров обработки данных в Айове или где-либо еще в мире», — бывший исследователь OpenAI Стивен Адлер сказал Fortune в этом месяце. «Это создает большую дополнительную нагрузку, и мне не очевидно, что преимущества с точки зрения безопасности достаточно значительны, чтобы оправдать столь высокую цену, которую компании пришлось бы платить за одностороннее внедрение такого решения».

«Почти в каждом посте, который я публикую в X, неизменно появляется от пяти до десяти комментариев о моей неспособности защитить песочницу или с вопросом, почему, черт возьми, мы просто не можем отключить модель от интернета», — анонимный инженер по безопасности OpenAI написал в сентябрьском посте в X. «Эти комментарии отражают растущий разрыв между тем, на каком этапе сегодня находятся многие организации и люди, и тем, с чем имеют дело передовые лаборатории. Также существует общее непонимание того, как в этих лабораториях проходит обучение и оценка моделей».

Инженер, чью должность ранее подтверждала OpenAI, рассказал, насколько сложны запуски обучения, организуемые инженерами OpenAI, отметив, что они требуют доступа к различным ресурсам и инструментам в самых разных областях, а тысячи исследователей создают, изменяют и тестируют эти среды. «Так можно ли просто поместить модель в песочницу? Нет, нельзя», — заключил он.

Теперь OpenAI заявляет, что «мы всегда должны быть способны предотвратить получение передовой моделью несанкционированного и произвольного доступа к интернету в реальном времени». Это заявление прозвучало после того, как компания развернула рои агентов в ходе упражнений по красной команде, пытавшихся выбраться из песочницы. Эти усилия выявили целый ряд уязвимостей, убедивших лабораторию принять новый подход.

Чтобы выполнить это требование и при этом достичь целей обучения, лаборатория заявила, что создала «огромный набор проиндексированного и кэшированного веб-контента, с которым наши модели могут взаимодействовать без риска повлиять на внешние системы».

Еще предстоит выяснить, будет ли эта стратегия работать так же хорошо, как предоставление моделям свободного доступа к открытому интернету, однако примечательно, что обе передовые лаборатории пришли к выводу: их наиболее мощные технологии нельзя оставлять без надзора в цифровом общем пространстве.