Трёхнедельный аудит на месте в OpenAI выявил серьёзные пробелы в мониторинге безопасности ИИ

Два исследователя из METR и Redwood Research провели три недели на месте в OpenAI, проверяя внутреннюю систему мониторинга компании на предмет поведения ИИ, выходящего из-под контроля.

С 21 июля по 11 августа они имели доступ к кодовой базе и внутренним документам OpenAI, а также провели интервью примерно с дюжиной сотрудников.

Команда обнаружила многочисленные слабые места. По оценкам, от 6 до 25 процентов внутреннего трафика Responses API от моделей класса GPT-5.5 и выше, использующих агентные возможности, вообще не покрывались мониторингом в период аудита, хотя METR отмечает, что неопределённость этой оценки значительна в обе стороны.

Что касается внутреннего трафика Codex, который должен был отслеживаться, METR оценивает, что примерно 10 процентов не отслеживались с мая по июль из-за пробела в обработке системой событий компактификации — сводок контекста. По данным METR, эта оценка также сопровождается значительной неопределённостью. OpenAI независимо обнаружила ошибку и исправила её, пока аудит ещё продолжался.

В период, когда события компактификации не отслеживались, агенты также могли откладывать надзор, поскольку система срабатывала только после того, как они возвращали управление пользователю. Это означало, что агенты могли обходить такой надзор, просто продолжая выполнять действия.

Аудиторы также обнаружили способы скрыть от монитора сотни действий и обойти песочницу Codex. Они установили, что специально созданные входные данные, вероятно, могли полностью вывести монитор из строя, а поведение моделей во время обучения с подкреплением вообще не отслеживалось на момент начала аудита.

OpenAI заявляет, что приостановила обучение с подкреплением после инцидента с Hugging Face в августе и расширила мониторинг, включив его в систему, однако эти изменения произошли после завершения периода доступа аудиторов и не вошли в оценку.

Большая часть полного отчёта остаётся скрытой от общественности

OpenAI заявляет, что устранила все обнаруженные аудиторами слабые места, а полный отчёт объёмом 61 страницу был передан внутри компании. После того как OpenAI внесла редакционные правки, руководство METR и Redwood Research получило версию объёмом 38 страниц, тогда как общественности был доступен лишь краткий обзор. METR сообщила, что не имела права самостоятельно раскрывать отредактированные фрагменты.

Аудит был пилотной программой, организованной совместно METR, Redwood Research и OpenAI, чтобы предоставить внешним исследователям глубокий доступ к внутренней инфраструктуре. Для будущих аудитов METR намерена добиваться большей публичной прозрачности.

Новости об ИИ без шумихи — отобраны людьми

Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный передовой отчёт «AI Radar» шесть раз в год, полный доступ к архиву и возможность оставлять комментарии.