OpenAI вводит новые меры защиты после взлома Hugging Face

Во вторник OpenAI объявила о новом наборе политик безопасности, направленных на сдерживание инцидентов безопасности во время тестирования моделей. Новые меры защиты включают более подробный мониторинг моделей в процессе разработки, а также повышенное внимание к согласованию и безопасности на этапе постобучения.

«По мере того как модели становятся более способными, растут и риски, связанные с их внутренней разработкой и тестированием, — заявила компания в записи в блоге. — Наши стандарты мониторинга, согласования и безопасности должны опережать эти риски».

Новые меры стали одними из первых публичных изменений в подходах OpenAI к безопасности после непосредственно последовавшего за инцидентом с Hugging Face периода. Об инциденте было сообщено 26 июля.

Представители OpenAI подчеркнули, что эти меры не являются прямым ответом на инцидент с Hugging Face, однако отчасти были вызваны кибербезопасностными возможностями будущей модели Astra, а также общими темпами развития ИИ.

В той же записи OpenAI сообщила, что после инцидента с Hugging Face приостановила обучение с подкреплением на две недели, но с тех пор возобновила работу над многими менее рискованными моделями.

«Наш крупнейший запланированный запуск обучения с подкреплением для передовой модели по-прежнему приостановлен, пока мы проводим обучение и оценку в меньших масштабах, чтобы изучить поведение модели, проверить наши меры защиты и получить дополнительные свидетельства согласованности перед продолжением работы», — говорится в записи.

В беседе с журналистами вице-президент OpenAI по исследованиям Амелия Глезе подчеркнула, что строгость средств контроля будет повышаться по мере роста возможностей моделей, а крупнейшие модели будут подвергаться наиболее тщательной проверке.

«Мы внедрили требования и ожидания в отношении безопасной разработки, — сказала Глезе журналистам. — Эти требования и ожидания зависят от уровня риска, который, как мы видим, существует».

После инцидента OpenAI подверглась критике за слабые методы обеспечения сетевой безопасности: модели смогли покинуть среду обучения, скомпрометировав утилиту установки пакетов, которая сохраняла доступ к интернету. Новые меры защиты предусматривают более строгую сетевую изоляцию, хотя конкретные детали остаются расплывчатыми. Согласно записи, в рамках новой системы «одна компрометация рабочей нагрузки или вспомогательного сервиса сама по себе не обеспечивает несанкционированного доступа к интернету или другим внутренним сетям».

Самой строгой мерой защиты станет система мониторинга, которая будет проверять действия инструментов, доступные следы рассуждений и журналы активности на предмет различных видов несанкционированного поведения. OpenAI заявляет, что рассчитывает выдавать предупреждения в течение 30 минут после выявления подозрительной активности.

OpenAI оценивает вычислительную нагрузку, связанную с таким мониторингом, примерно в 20% от нагрузки контролируемого процесса. Компания пообещала раскрыть дополнительные подробности о системе в будущей записи в блоге. Официальный итоговый анализ инцидента OpenAI также пока не опубликован.