Президент OpenAI закликає підприємства пришвидшити захист від загроз ШІ

OpenAI президент і співзасновник Грег Брокман попереджає, що команди корпоративної безпеки мають стислий термін для впровадження засобів захисту на основі ШІ.

Брокман опублікував опис того, що компанія називає інцидентом «OpenAI-Hugging Face», використовуючи його, щоб довести: організаціям необхідно вдосконалювати свої практики безпеки з безпрецедентною, як він висловлюється, швидкістю. Він пише, що після інциденту поспілкувався з багатьма організаціями й виявив спільну тему, яка проходить через усі ці розмови: керівники розуміють, що мають рухатися швидше, ніж дозволяють їхні поточні програми безпеки.

Терміновість зумовлена конкретною подією. «Агентна колективна система» автономно проникла у власну дослідницьку інфраструктуру OpenAI, а потім перемістилася до виробничої інфраструктури Hugging Face. Зловмисники поєднали раніше невідомі вразливості системи з витеклими обліковими даними користувачів, знайденими в інтернеті, щоб завершити вторгнення. Брокман називає це попереднім переглядом того, як можливості типового суб’єкта загроз розвиватимуться протягом найближчих місяців.

Рішення щодо захисту на основі ШІ, яке постає перед керівниками безпеки

Брокман стверджує, що інцидент виявив проблему, яка виходить за межі мережі будь-якої окремої компанії. Він пише, що накопичений технічний борг усередині кожної організації «маскує значні недоліки», які захисники тепер мають виявити й виправити раніше за зловмисників.

Моделі ШІ, розроблені в індустрії, дедалі краще автоматизують окремі етапи реальних кібератак, каже він, що полегшує пошук та експлуатацію давніх прогалин у безпеці. Ці прогалини варіюються від помилок, глибоко вбудованих у програмне забезпечення, написане людьми, до забутих дозволів, якими роками ніхто не керував.

За власними словами Брокмана, часу на це рішення небагато. Раніше цього року OpenAI почала надавати свої кіберможливості лише надійним захисникам, а не громадськості, навмисно намагаючись утримати захисників попереду. Відтоді інші компанії випустили моделі з відкритими вагами, чиї кіберможливості відстають від передових лише на кілька місяців.

Брокман також вказує на ще одну модель, випуск якої, схоже, запланований на кінець серпня; за його словами, вона, ймовірно, суттєво прискорить розвиток ландшафту загроз. Для корпоративних керівників це стискає вікно можливостей для створення захисту за допомогою ШІ до того, як широко доступні моделі скоротять розрив із можливостями зловмисників.

Брокман описує цю динаміку як перегони з двома сторонами. Незабаром зловмисники, озброєні ШІ, зможуть знаходити давні вразливості в багатьох наявних системах, пише він, але та сама технологія надає захисникам інструменти для швидшого пошуку, визначення пріоритетності та виправлення цих недоліків.

Описуючи безпеку як гру в кішки-мишки, що триває, Брокман стверджує, що ШІ може змінити її базову економіку на користь захисників. OpenAI повідомляє, що почала навчати моделі спеціально для написання безпечнішого коду. Окремо компанія вказує на здатність своїх моделей працювати з математичними доведеннями, яку, за її словами, можна застосовувати для формальної перевірки безпеки програмного забезпечення способами, що виявилися складними для масштабного виконання людьми-ревізорами.

Тестовий приклад на особистому вебсайті Брокмана

Брокман наводить особистий приклад того, як виглядає швидша реакція на практиці. Після інциденту він попросив ChatGPT Work, що працював на загальнодоступній моделі GPT‑5.6 Sol, оцінити безпеку його особистого сайту gregbrockman.com. Він описує його як простий статичний сайт, розміщений на AWS, де Cloudflare виконує роль шлюзу, і каже, що очікував наявності лише обмеженої поверхні для вразливостей.

Оцінювання тривало близько 15 хвилин і виявило 13 проблем. Брокман каже, що багато з них, імовірно, не можна було експлуатувати окремо, але він міг уявити, як їх можна поєднати з іншими вразливостями. Інструмент виявив, що його записи DNS не були налаштовані для запобігання підробленню зловмисниками електронних листів від його адреси. На його сайті працювала незахищена версія jQuery, а Cloudflare пересилав запити до AWS через незашифрований HTTP.

Потім він попросив ChatGPT Work виправити проблеми, що той і зробив приблизно за годину. Інструмент відкрив панель керування Cloudflare у його браузері та змінив налаштування DNS, TLS і розширеної безпеки. Він повністю видалив jQuery із сайту, переніс сайт з AWS на Cloudflare Pages і розпочав поетапне впровадження DMARC.

Брокман називає це невеликою демонстрацією наявних моделей, що працюють як те, що він називає кіберохоронцем, здатним знаходити довгий перелік проблем конфігурації, для вирішення яких людині може бракувати часу чи спеціальних знань, а потім застосовувати виправлення з належним поетапним розгортанням.

Як OpenAI перебудувала власний захист

Брокман пише, що інцидент із Hugging Face показав: OpenAI недооцінила реальні кіберможливості власних моделей ШІ, що спонукало компанію посилити вимоги до безпеки й додати терміновості наявним дослідженням з безпеки та внутрішній роботі над захистом. Він визначає чотири напрямки внутрішніх інвестицій, які лежать в основі його рекомендацій іншим організаціям.

Перший — використання власних моделей OpenAI для захисту коду. Codex разом із плагіном безпеки перевіряє зміни в коді та виявляє вразливості до розгортання. Брокман прямо наголошує, що мета полягає не у створенні більшої кількості знахідок, які потребують перевірки людьми; йдеться про виявлення реальних вразливостей до випуску коду та скорочення часу між виявленням проблеми й розгортанням виправлення. OpenAI прагне усунути деякі класи вразливостей програмного забезпечення в новоствореному коді.

Другий напрямок передбачає постійне використання моделей для захисту інфраструктури. Брокман каже, що майже всі первинні сповіщення безпеки OpenAI тепер спочатку сортуються системами ШІ, а вже потім до роботи долучаються люди, що, за його словами, зменшує навантаження на захисників і скорочує час реагування. Компанія пов’язує ці виявлення з обмеженими автоматизованими реакціями, залишаючи людям відповідальність за рішення з найбільшим впливом; заявлена мета — виявляти проблеми безпеки та реагувати на них із машинною швидкістю.

По-третє, OpenAI використовує свої моделі для безперервного перелікування та перевірки потенційних шляхів атаки, пошуку вразливостей, помилкових конфігурацій, ідентичностей із надмірними привілеями та ненавмисних меж довіри. Це підтримує те, що Брокман називає постійною оцінкою інваріантів безпеки компанії — властивостей, які, на її думку, мають залишатися істинними в усіх її продуктах та інфраструктурі.

Четвертий напрямок — інвестиції в основи безпеки в масштабі, зокрема безпечну архітектуру, багаторівневий захист і мінімальні привілеї. Заявлена мета проєктування полягає у створенні систем, у яких кілька незалежних засобів контролю мають відмовити одночасно, перш ніж станеться щось катастрофічне. Ізоляція мережі, посилення робочих навантажень, моніторинг, а також практики встановлення виправлень і розгортання залишаються частиною цієї бази, і Брокман каже, що вони матимуть більше, а не менше значення в міру зростання можливостей ШІ з обох боків.

Що Брокман радить командам корпоративної безпеки зробити зараз

Брокман визначає перелік дій для команд безпеки, зосереджуючись на швидкості, а не на повній перебудові програми. Він рекомендує заручитися підтримкою організації та проводити настільні навчання, моделюючи, як ці атаки могли б розгортатися в конкретній організації. Він радить надати командам безпеки агентний інструмент, такий як Codex або плагін Codex Security, із затвердженим доступом до кодових баз і конфігурації інфраструктури, почавши з систем найвищого пріоритету, а не очікуючи загальнокорпоративного розгортання.

Він пропонує оснастити цього агента навичками, підтримуваними спільнотою, для статичного аналізу, перевірки коду з погляду безпеки, аналізу варіантів вразливостей і ризиків ланцюга постачання програмного забезпечення, а потім створити спеціалізовані для організації навички на основі наявної архітектури та моделей загроз. Організаціям слід спочатку провести оцінювання сервісів, доступних з інтернету, потоків автентифікації, інфраструктури як коду та систем, що працюють із конфіденційними даними. Потім команди мають опрацювати наявні черги результатів сканерів, сповіщень про залежності та звітів програм винагороди за пошук помилок, попросивши агента відрізнити експлуатовані проблеми від шуму.

Брокман також рекомендує безпосередньо вбудувати агентну перевірку в конвеєри розробки, перевіряючи помилки автентифікації, обходи контролю доступу, розкриті облікові дані та небезпечні залежності до злиття коду. Для підтверджених проблем він пропонує доручати агенту створити патч, написати регресійний тест і підтвердити, що вразливість більше не відтворюється, водночас залишаючи перевірку людиною для змін із серйозними наслідками.

Щодо автоматизації Брокман радить поступовий шлях замість негайної спроби створити автономний центр операцій безпеки. Організаціям слід почати зі сканування лише для читання одного репозиторію, перейти до рекомендаційного сканування pull request, потім до сортування активних сповіщень і лише згодом запровадити автоматичне закриття вузько визначених хибнопозитивних результатів. Кожне рішення має ухвалювати людина, доки впродовж цієї послідовності не сформується достатня впевненість.

Він також радить організаціям подати заявку на Trusted Access for Cyber, щоб отримати дозвіл на використання GPT‑Daybreak‑Blue для захисної роботи, зокрема реагування на інциденти, проєктування систем виявлення та аналізу шкідливого програмного забезпечення. Брокман рекомендує попрактикуватися з цією можливістю на журналах і телеметрії, перш ніж реальний інцидент змусить вирішувати це питання.

Брокман завершує думкою, що жодна компанія не може впоратися з цим самостійно, і закликає лабораторії ШІ, постачальників систем безпеки, підприємства та мейнтейнерів ділитися підтвердженими знахідками, виправленнями й сценаріями дій, щоб відкриття однієї організації зміцнювало ширшу екосистему. Він описує вікно можливостей для захисників як відкрите зараз, а організаціям, за його словами, потрібно автоматизувати програми безпеки протягом найближчих місяців, щоб встигати за можливостями зловмисників, до появи ще однієї моделі з відкритими вагами, яку він очікує наприкінці серпня.

Дивіться також: Alvys запускає агентів ШІ для робочих процесів вантажної TMS

Хочете дізнатися більше про ШІ та великі дані від лідерів галузі? Відвідайте AI & Big Data Expo, що відбудеться в Амстердамі, Каліфорнії та Лондоні. Цей масштабний захід є частиною TechEx і проходитиме одночасно з іншими провідними технологічними заходами, зокрема Cyber Security & Cloud Expo. Натисніть тут, щоб дізнатися більше.

AI News працює на базі TechForge Media. Перегляньте інші майбутні заходи та вебінари, присвячені корпоративним технологіям, тут.