Президент OpenAI призывает компании ускорить разработку средств защиты от ИИ

Президент и сооснователь OpenAI Грег Брокман предупреждает, что корпоративные команды по безопасности столкнулись с сокращёнными сроками для внедрения средств защиты на базе ИИ.

Брокман опубликовал описание того, что компания называет инцидентом «OpenAI — Hugging Face», используя его как аргумент в пользу того, что организациям необходимо с беспрецедентной скоростью повышать уровень своих практик безопасности. Он пишет, что после инцидента поговорил со многими организациями и обнаружил общую для этих бесед тему: руководители понимают, что им необходимо действовать быстрее, чем позволяют их текущие программы безопасности.

Срочность обусловлена конкретным событием. «Агентный коллектив» автономно проник в собственную исследовательскую инфраструктуру OpenAI, а затем переместился в производственную инфраструктуру Hugging Face. Злоумышленники объединили ранее неизвестные уязвимости безопасности с утёкшими в интернет учётными данными пользовательских аккаунтов, чтобы завершить вторжение. Брокман называет это предварительным представлением того, как возможности типичного субъекта угроз будут развиваться в ближайшие месяцы.

Решение в области защиты ИИ, которое предстоит принять руководителям служб безопасности

Брокман утверждает, что инцидент выявил проблему, выходящую за пределы сети какой-либо отдельной компании. Он пишет, что накопившийся технический долг внутри каждой организации «маскирует значительные недостатки», которые защитникам теперь необходимо обнаружить и устранить раньше злоумышленников.

Модели ИИ, разрабатываемые в отрасли, всё чаще способны автоматизировать отдельные этапы реальных кибератак, говорит он, что упрощает обнаружение и эксплуатацию давно существующих пробелов в безопасности. Эти пробелы варьируются от ошибок, глубоко встроенных в написанное людьми программное обеспечение, до забытых разрешений, которыми годами никто не управлял.

По собственной оценке Брокмана, времени на принятие этого решения осталось немного. В начале года OpenAI начала предоставлять свои кибервозможности только доверенным защитникам, а не широкой публике, намеренно стремясь сохранить преимущество защитников. С тех пор другие компании выпустили модели с открытыми весами, чьи кибервозможности отстают от передовых разработок всего на несколько месяцев.

Брокман указывает на ещё одну модель, выпуск которой, судя по всему, запланирован на конец августа и которая, по его словам, вероятно, значительно ускорит развитие ландшафта угроз. Для руководителей предприятий это сокращает окно возможностей для создания средств защиты с использованием ИИ, прежде чем общедоступные модели сократят разрыв с возможностями злоумышленников.

Брокман описывает лежащую в основе динамику как гонку с двумя направлениями. По его словам, злоумышленники, использующие ИИ, вскоре смогут находить давно существующие уязвимости во множестве имеющихся систем, однако та же технология даёт защитникам инструменты для более быстрого обнаружения, приоритизации и устранения этих уязвимостей.

Описывая безопасность как сохраняющуюся игру в кошки-мышки, Брокман утверждает, что ИИ может изменить её экономическую основу таким образом, чтобы это пошло на пользу защитникам. OpenAI заявляет, что начала обучать модели специально для написания более безопасного кода. Отдельно компания указывает на способность своих моделей работать с математическими доказательствами, которая, по её словам, может применяться для формальной проверки безопасности программного обеспечения — в масштабах, недостижимых для людей-проверяющих.

Тестирование на личном сайте Брокмана

Брокман приводит личный пример того, как на практике выглядит более быстрая реакция. После инцидента он попросил ChatGPT Work, работающий на общедоступной модели GPT‑5.6 Sol, оценить безопасность его личного сайта gregbrockman.com. Он описывает его как простой статический сайт, размещённый в AWS, где Cloudflare выполняет роль точки входа, и говорит, что ожидал ограниченного пространства для потенциальных уязвимостей.

Оценка заняла около 15 минут и выявила 13 проблем. Брокман говорит, что многие из них, вероятно, не могли быть использованы по отдельности, однако он допускает, что их можно было бы объединить с другими уязвимостями. Инструмент обнаружил, что записи DNS не были настроены для предотвращения подделки злоумышленниками электронных писем от его имени. На сайте использовалась небезопасная версия jQuery, а Cloudflare пересылал запросы в AWS по незашифрованному протоколу HTTP.

Затем он попросил ChatGPT Work устранить проблемы, что тот и сделал примерно за час. Инструмент открыл в браузере панель управления Cloudflare и выполнил настройку DNS, TLS и расширенных параметров безопасности. Он полностью удалил jQuery с сайта, перенёс сайт из AWS в Cloudflare Pages и начал поэтапное внедрение DMARC.

Брокман говорит, что это небольшая демонстрация работы существующих моделей в качестве того, что он называет киберзащитником: они способны находить длинный хвост проблем конфигурации, на решение которых человеку может не хватить времени или специальных знаний, а затем применять исправления с надлежащим поэтапным внедрением.

Как OpenAI перестроила собственную защиту

Брокман пишет, что инцидент с Hugging Face показал: OpenAI недооценила реальные кибервозможности собственных моделей ИИ, что побудило компанию ужесточить требования безопасности и ускорить уже проводившиеся исследования в области безопасности, а также внутреннюю работу по защите. Он выделяет четыре направления внутренних инвестиций, которые лежат в основе его рекомендаций другим организациям.

Первое — использование собственных моделей OpenAI для защиты кода. Codex вместе с плагином безопасности проверяет изменения в коде и выявляет уязвимости до развёртывания. Брокман прямо подчёркивает, что целью не является получение большего числа результатов, требующих проверки человеком; задача заключается в обнаружении реальных уязвимостей до выпуска кода и сокращении времени между обнаружением проблемы и развёртыванием исправления. OpenAI стремится устранить некоторые классы уязвимостей программного обеспечения в новом коде.

Второй компонент — постоянное использование моделей для защиты инфраструктуры. Брокман говорит, что почти все первоначальные оповещения OpenAI о безопасности теперь проходят сортировку с помощью систем ИИ до подключения людей, что, по его словам, снижает нагрузку на защитников и ускоряет реакцию. Компания связывает эти обнаружения с ограниченными автоматизированными ответными действиями, сохраняя за людьми ответственность за решения с наибольшими последствиями; заявленная цель — обнаруживать проблемы безопасности и реагировать на них с машинной скоростью.

В-третьих, OpenAI использует свои модели для непрерывного перечисления и исследования потенциальных путей атаки, выявляя уязвимости, ошибочные конфигурации, чрезмерно привилегированные идентификаторы и непреднамеренные границы доверия. Это поддерживает то, что Брокман называет постоянной оценкой инвариантов безопасности компании — свойств, которые, по её мнению, должны сохраняться во всех её продуктах и инфраструктуре.

Четвёртый компонент — инвестиции в фундаментальные меры в масштабах компании, включая безопасную архитектуру, эшелонированную защиту и принцип минимальных привилегий. Заявленная цель проектирования заключается в создании систем, в которых несколько независимых средств контроля должны одновременно выйти из строя, прежде чем произойдёт что-либо катастрофическое. Сетевая изоляция, усиление защиты рабочих нагрузок, мониторинг, а также практики исправления и развёртывания остаются частью этой основы, и Брокман говорит, что по мере роста возможностей ИИ с обеих сторон они будут иметь всё большее, а не меньшее значение.

Что Брокман рекомендует корпоративным командам по безопасности сделать сейчас

Брокман предлагает командам по безопасности список действий, ориентированных на скорость, а не на полную перестройку программы. Он рекомендует заручиться поддержкой руководства организации и проводить штабные учения, моделируя возможное развитие таких атак внутри конкретной организации. Он советует предоставить командам по безопасности агентный инструмент, такой как Codex или плагин Codex Security, с одобренным доступом к кодовым базам и конфигурации инфраструктуры, начав с наиболее приоритетных систем, а не дожидаясь внедрения во всей компании.

Он предлагает оснастить этого агента поддерживаемыми сообществом навыками для статического анализа, проверки кода с точки зрения безопасности, анализа вариантов уязвимостей и оценки рисков цепочки поставок программного обеспечения, а затем создать специфические для организации навыки с учётом существующей архитектуры и моделей угроз. Организациям следует сначала провести оценку интернет-доступных сервисов, процессов аутентификации, инфраструктуры как кода и систем, обрабатывающих конфиденциальные данные. Затем командам следует обработать существующие очереди результатов сканеров, предупреждений о зависимостях и отчётов программ поиска ошибок, попросив агента отличать эксплуатируемые проблемы от информационного шума.

Брокман также рекомендует встроить проверку на основе агентов непосредственно в конвейеры разработки, проверяя до слияния кода ошибки аутентификации, обходы контроля доступа, раскрытые учётные данные и небезопасные зависимости. Для подтверждённых проблем он предлагает поручать агенту создавать исправление, писать регрессионный тест и подтверждать, что уязвимость больше не воспроизводится, сохраняя проверку человеком для изменений, имеющих существенные последствия.

В вопросах автоматизации Брокман советует двигаться постепенно, а не пытаться сразу создать автономный центр управления операциями безопасности. Организациям следует начать со сканирования одного репозитория в режиме только чтения, перейти к рекомендательному сканированию запросов на слияние, затем к сортировке активных оповещений и лишь после этого внедрять автоматическое закрытие ложных срабатываний с чётко заданными характеристиками. На протяжении всей этой последовательности каждое решение должен принимать человек, пока не будет накоплен достаточный уровень уверенности.

Он также призывает организации подать заявку на Trusted Access for Cyber, чтобы получить разрешение использовать GPT‑Daybreak‑Blue для защитной работы, включая реагирование на инциденты, разработку средств обнаружения и анализ вредоносных программ. Брокман рекомендует отрабатывать использование этой возможности на журналах и телеметрии до того, как реальный инцидент вынудит решать этот вопрос.

Брокман завершает статью утверждением, что ни одна компания не может справиться с этим в одиночку, и призывает лаборатории ИИ, поставщиков средств безопасности, предприятия и сопровождающих программное обеспечение разработчиков обмениваться подтверждёнными результатами, исправлениями и сценариями действий, чтобы открытие одной организации укрепляло всю экосистему. Он описывает окно возможностей для защитников как открытое сейчас: организациям необходимо автоматизировать программы безопасности в ближайшие месяцы, чтобы успеть за возможностями злоумышленников, до выхода следующей модели с открытыми весами, который он ожидает в конце августа.

Смотрите также: Alvys запускает ИИ-агентов для рабочих процессов грузовых TMS

Хотите узнать больше об ИИ и больших данных от лидеров отрасли? Посетите AI & Big Data Expo, которая пройдёт в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится одновременно с другими ведущими технологическими мероприятиями, включая Cyber Security & Cloud Expo. Нажмите здесь, чтобы узнать больше.

AI News работает при поддержке TechForge Media. Ознакомьтесь с другими предстоящими мероприятиями и вебинарами в сфере корпоративных технологий здесь.