Президентът на OpenAI призовава предприятията да ускорят защитата си срещу заплахи от ИИ

Президентът и съосновател на OpenAI Грег Брокман предупреждава, че екипите по корпоративна сигурност разполагат с ограничено време за внедряване на защити с изкуствен интелект.

Брокман публикува разказ за случилото се, което компанията нарича инцидента „OpenAI-Hugging Face“, и го използва, за да аргументира необходимостта организациите да надградят практиките си за сигурност с безпрецедентна, по думите му, скорост. Той пише, че след инцидента е разговарял с много организации и е открил обща тема в тези разговори: лидерите знаят, че трябва да действат по-бързо, отколкото настоящите им програми за сигурност позволяват.

Спешността произтича от конкретно събитие. „Агентен колектив“ автономно прониква в собствената изследователска инфраструктура на OpenAI, а след това се премества в производствената инфраструктура на Hugging Face. Нападателите комбинират неизвестни дотогава пропуски в сигурността с изтекли идентификационни данни за потребителски акаунти, открити в интернет, за да завършат проникването. Брокман го определя като preview на начина, по който възможностите на типичен заплашителен субект ще се развият през следващите месеци.

Решението за защита с изкуствен интелект, пред което са изправени лидерите по сигурността

Брокман твърди, че инцидентът е разкрил проблем, който надхвърля мрежата на която и да е отделна компания. Той пише, че натрупаният технически дълг във всяка организация „маскира значителни пропуски“, които защитниците сега трябва да открият и отстранят преди нападателите.

Моделите с изкуствен интелект, разработвани в цялата индустрия, все по-често могат да автоматизират части от реални кибератаки, казва той, което улеснява откриването и използването на дългогодишни пропуски в сигурността. Тези пропуски варират от грешки, дълбоко заложени в софтуер, написан от хора, до забравени разрешения, които не са били управлявани в продължение на години.

Според самия Брокман времето за това решение е кратко. По-рано през годината OpenAI започна да предоставя кибернетичните си възможности само на доверени защитници, а не на широката публика — съзнателен опит да запази защитниците пред нападателите. Оттогава други компании пуснаха модели с отворени тегла, чиито кибернетични възможности изостават от водещите модели само с няколко месеца.

Брокман посочва още един модел, който изглежда е планиран за пускане в края на август и който, по думите му, вероятно значително ще ускори развитието на заплахите. За корпоративните лидери това съкращава времето за изграждане на защити с помощта на изкуствен интелект, преди широко достъпните модели да изравнят възможностите на нападателите.

Брокман описва основната динамика като надпревара с две страни. Той пише, че скоро нападателите, използващи изкуствен интелект, ще могат да откриват дългогодишни пропуски в много от съществуващите системи, но същата технология предоставя на защитниците инструменти за по-бързо откриване, приоритизиране и отстраняване на тези пропуски.

Макар да описва сигурността като все още игра на котка и мишка, Брокман твърди, че изкуственият интелект може да промени основната ѝ икономика по начини, които облагодетелстват защитниците. OpenAI заявява, че е започнала да обучава модели, предназначени специално за писане на по-сигурен код. Отделно компанията посочва възможностите на моделите си при математически доказателства, които според нея могат да се прилагат за формална проверка на сигурността на софтуера по начини, оказали се трудни за постигане от човешки проверяващи в голям мащаб.

Тестов случай срещу личния уебсайт на Брокман

Брокман дава личен пример за това как изглежда по-бързата реакция на практика. След инцидента той моли ChatGPT Work, работещ с публично достъпния GPT‑5.6 Sol, да оцени сигурността на личния му сайт, gregbrockman.com. Той го описва като прост статичен сайт, хостван в AWS, с Cloudflare като входна точка, и казва, че е очаквал ограничена повърхност за уязвимости.

Оценката отнема около 15 минути и открива 13 проблема. Брокман казва, че много от тях вероятно не са били използваеми самостоятелно, но можел да си представи как биха били комбинирани с други уязвимости. Инструментът установява, че DNS записите му не са конфигурирани така, че да предотвратят фалшифицирането от нападатели на имейли от неговия адрес. Сайтът му работи с несигурна версия на jQuery, а Cloudflare препраща заявки към AWS по некриптиран HTTP.

След това той моли ChatGPT Work да отстрани проблемите, което инструментът прави за около час. Той отваря контролния панел на Cloudflare в браузъра му и преминава през настройките за DNS, TLS и разширена сигурност. Премахва jQuery изцяло от сайта, мигрира сайта от AWS към Cloudflare Pages и започва поетапно внедряване на DMARC.

Брокман представя това като демонстрация в малък мащаб на съществуващи модели, работещи като това, което той нарича киберпазител — способни да откриват дълга поредица от проблеми с конфигурацията, за чието отстраняване човек може да няма време или специфични познания, а след това да прилагат корекции чрез подходящо поетапно внедряване.

Как OpenAI преструктурира собствените си защити

Брокман пише, че инцидентът с Hugging Face е показал, че OpenAI е подценила реалните кибернетични възможности на собствените си модели с изкуствен интелект, което е подтикнало компанията да засили изискванията си за безопасност и да придаде по-голяма спешност на съществуващите изследвания в областта на безопасността и вътрешната работа по сигурността. Той очертава четири области на вътрешни инвестиции, които са в основата на препоръките му към други организации.

Първата е използването на собствените модели на OpenAI за защита на нейния код. Codex, заедно с плъгин за сигурност, валидира промените в кода и идентифицира уязвимости преди внедряването. Брокман изрично посочва, че целта не е генерирането на повече констатации, изискващи човешка проверка; стремежът е реалните уязвимости да бъдат откривани преди пускането на кода и да се съкрати времето между откриването на проблем и внедряването на корекция. Амбицията на OpenAI е да елиминира някои класове софтуерни уязвимости в новонаписан код.

Вторият стълб включва постоянно използване на модели за защита на инфраструктурата. Брокман казва, че почти всички първоначални сигнали за сигурност на OpenAI вече се сортират от системи с изкуствен интелект, преди да се включат хора, което според него намалява натоварването на защитниците и подобрява времето за реакция. Компанията свързва тези открития с ограничени автоматизирани реакции, като запазва отговорността на хората за решенията с най-голямо въздействие, с обявената цел да открива и да реагира на проблеми със сигурността с машинна скорост.

Трето, OpenAI използва моделите си за непрекъснато изброяване и проверка на потенциални пътища за атака, търсейки уязвимости, неправилни конфигурации, идентичности с прекомерни привилегии и непреднамерени граници на доверие. Това подпомага онова, което Брокман нарича текуща оценка на инвариантите на сигурността на компанията — свойствата, за които тя смята, че трябва да са валидни в продуктите и инфраструктурата ѝ.

Четвъртият стълб е инвестирането в основите в голям мащаб, включително сигурна архитектура, многослойна защита и минимални привилегии. Обявената цел на дизайна е създаването на системи, при които множество независими контроли трябва да се повредят едновременно, преди да се случи нещо катастрофално. Изолирането на мрежи, укрепването на работните натоварвания, мониторингът и практиките за пачване и внедряване остават част от тази основа, а Брокман казва, че те ще имат по-голямо — не по-малко — значение с нарастването на възможностите на изкуствения интелект и от двете страни.

Какво Брокман съветва корпоративните екипи по сигурността да направят сега

Брокман представя списък с действия за екипите по сигурността, съсредоточен върху скоростта, а не върху цялостно преработване на програмата. Той препоръчва да се осигури подкрепа от организацията и да се провеждат ситуационни учения, които моделират как тези атаки могат да се развият в конкретна организация. Съветва екипите по сигурността да получат агентен инструмент като Codex или плъгина Codex Security, с одобрен достъп до кодови бази и конфигурация на инфраструктурата, като се започне с най-приоритетните системи, вместо да се чака внедряване в цялата компания.

Той предлага този агент да бъде оборудван с умения, поддържани от общността, за статичен анализ, преглед на код с фокус върху сигурността, анализ на варианти на уязвимости и риск за веригата на доставки на софтуер, а след това да се изградят специфични за организацията умения на базата на съществуващата архитектура и моделите на заплахи. Организациите трябва първо да извършат оценки на услуги, достъпни от интернет, процеси за удостоверяване, инфраструктура като код и системи, обработващи чувствителни данни. След това екипите трябва да прегледат съществуващите изоставания от резултати на скенери, сигнали за зависимости и доклади от програми за откриване на грешки, като поискат от агента да разграничи използваемите проблеми от шума.

Брокман също препоръчва прегледът от агенти да бъде вграден директно в конвейерите за разработка, като се проверява за грешки при удостоверяване, заобикаляне на контрола на достъпа, разкрити идентификационни данни и небезопасни зависимости преди сливането на кода. За потвърдените проблеми той предлага агентът да генерира пач, да напише регресионен тест и да потвърди, че уязвимостта вече не може да бъде възпроизведена, като същевременно се запази човешкият преглед за промените със съществени последствия.

По отношение на автоматизацията Брокман съветва поетапен подход, вместо незабавен опит за изграждане на автономен център за операции по сигурността. Организациите трябва да започнат със сканиране само за четене на едно хранилище, да преминат към консултативно сканиране на заявките за промени, след това към сортиране на сигнали в реално време и едва по-късно да въведат автоматично затваряне на строго дефинирани фалшиви положителни резултати. Човек трябва да взема всяко решение, докато чрез тази последователност не се изгради достатъчно доверие.

Той също насочва организациите към кандидатстване за Trusted Access for Cyber, за да получат одобрение за използване на GPT‑Daybreak‑Blue за защитна работа, включително реакция при инциденти, разработване на системи за откриване и анализ на зловреден софтуер. Брокман препоръчва възможностите да бъдат изпробвани върху журнали и телеметрични данни, преди реален инцидент да наложи това.

Брокман завършва с аргумента, че никоя компания не може да се справи сама, и призовава лабораториите за изкуствен интелект, доставчиците на решения за сигурност, предприятията и поддържащите екипи да споделят проверени констатации, корекции и наръчници, така че откритието на една организация да укрепва по-широката екосистема. Той описва прозореца за защитниците като отворен сега, като организациите трябва да автоматизират програмите си за сигурност през следващите месеци, за да поддържат темпото на възможностите на нападателите, преди очаквания в края на август допълнителен модел с отворени тегла.

Вижте също: Alvys пуска агенти с изкуствен интелект за работните процеси на товарните TMS системи

Искате ли да научите повече за изкуствения интелект и големите данни от лидерите в индустрията? Посетете AI & Big Data Expo, което ще се проведе в Амстердам, Калифорния и Лондон. Всеобхватното събитие е част от TechEx и се провежда едновременно с други водещи технологични събития, включително Cyber Security & Cloud Expo. Кликнете тук за повече информация.

AI News се поддържа от TechForge Media. Разгледайте други предстоящи събития и уебинари за корпоративни технологии тук.