AI агенти хакнаха Anthropic, създателя на смятаните от мнозина за най-способните AI модели за киберзащита

Стартъпът за киберсигурност Cathedral използва AI агенти, за да проникне във вътрешните системи на Anthropic чрез бизнес софтуер на трети страни, като се възползва от собствената програма за откриване на уязвимости на AI лабораторията, за да разкрие сериозни уязвимости.

Cathedral съобщи за достъпа си до вътрешни системи за данни и съобщения в проект на доклад, прегледан от The Washington Post. Стартъпът, основан от бивши служители на DOGE, американската правителствена агенция за ефективност, продава базирани на AI инструменти за сигурност на държавни агенции и компании.

Изследователите на Cathedral са проникнали чрез външни административни и търговски програми. Според доклада им AI агенти, работещи с усъвършенствани модели, са открили пътища към стенограми от срещи, данни за заплати, обяви за работа и Slack съобщения за по-малко от дванадесет часа.

Anthropic потвърди, че изследователите са получили достъп до ограничен набор от системи за продажби, човешки ресурси и информационни технологии, включително до информация за контакт на някои клиенти и партньори, както и до основни данни за потребителски акаунти. Чатовете с Claude, изходният код и теглата на моделите никога не са били разкрити, заяви компанията. Anthropic затвори засегнатите точки за достъп още в деня, в който откри пробива, деактивира програмите на трети страни, докато проблемът бъде разрешен, и уведоми федералните власти на САЩ.

Anthropic и Cathedral не са единодушни колко дълго е продължил пробивът и докъде е стигнал

Cathedral твърди, че инцидентът е продължил по-малко от дванадесет часа. Anthropic заявява, че опитът за атака е продължил няколко дни. Едва след дни на проверка на собствените системи на Anthropic стартъпът е насочил вниманието си към софтуер на трети страни, според червения екип на Anthropic, Logan Graham. Там Cathedral е открил две уязвимости, но е съобщил само за едната. Anthropic твърди, че сам е открил и отстранил втората.

Anthropic също така обвинява Cathedral, че е нарушил правилата на програмата за откриване на уязвимости чрез непълно разкриване. Graham добави, че насочването към доставчици на трети страни и извличането на данни надхвърлят разпоредбите за безопасно използване на програмата, макар че приветства откриването на уязвимостите. Cathedral поддържа, че е следвал стандартните практики за изследване на сигурността.

Колко данни действително са били достъпени, все още е спорно. Бившият служител на OpenAI Will Depue твърди, че Anthropic омаловажава инцидента, като заявява, че няколко източника, които смята за изключително надеждни, са му казали, че Cathedral е получил пълен администраторски достъп до работното пространство в Slack, можел е да прочете всяко съобщение и да влезе във всеки потребителски акаунт.

И лабораториите Anthropic, и OpenAI са съхранявали всичките си изследователски тайни в Slack, добави Depue, като администраторските API ключове са били разпръснати из системите им. Jacob Coxon, служител на Anthropic, напуснал компанията през септември 2026 г., по-рано критикува Anthropic за провеждането на опасни изследвания на AI върху офис софтуер като Slack.

Graham опроверга това, като заяви, че източниците на Depue грешат. Позовавайки се на чувствителността на въпроса, той отказа да навлиза в подробности, но потвърди основното опасение на Depue: индустрията вече трябва да преосмисля сигурността си всяка година.

Depue настоя за подробности относно това кои точно твърдения са неверни и призова Anthropic да разкрие до какво действително е получил достъп Cathedral. Той също така обвини за проблема темпото на надпреварата в областта на AI, при която ръководителите дават приоритет на скоростта пред сигурността.

Alex Stamos, директор по сигурността в AI стартъпа Cognition, който използва моделите на Anthropic, каза пред Washington Post, че смята констатациите за значими. Той отбеляза, че интегрираните приложения на трети страни са сериозен проблем в цялата индустрия и че Anthropic е могъл да се справи по-добре със защитата на външните си услуги.

AI агентите преобразяват киберсигурността

След месеци на предупреждения за кибератаки, базирани на AI, и собствените си случайни инциденти със сигурността, Anthropic вече се оказва от другата страна. AI агентите променят начина, по който работят кибератаките, а този пробив показва колко бързо се случва промяната. Това също не е просто поредният пробив, тъй като Anthropic вероятно е компанията, която е най-добре подготвена да се защитава от атаки, извършвани чрез AI.

Graham използва момента, за да предупреди, че нападателите вече управляват AI агенти денонощно, като се насочват конкретно към външни зависимости. Той заяви, че дори модели, изоставащи с половин до цяло поколение от актуалните водещи модели, са достатъчно способни за такива атаки, а бъдещите противници неизбежно ще разполагат с по-мощни системи.

Решението на Graham е непрекъснато вътрешно тестване за проникване и преустройство на софтуера с формална верификация, което AI вече прави икономически осъществимо. „Вероятно ще искате постоянно да извършвате тестове от типа „червен екип“ срещу самите себе си. Съвременните модели са много креативни“, написа Graham.

Той не обясни как Cathedral е успял да проникне толкова дълбоко, въпреки че Anthropic има достъп до може би най-мощните в света AI модели за киберзащита.

AI новини без сензация – подбрани от хора

Абонирайте се за THE DECODER за четене без реклами, седмичен информационен бюлетин за AI, нашия ексклузивен годишен доклад за водещите модели „AI Radar“, публикуван шест пъти годишно, пълен достъп до архива и достъп до секцията за коментари.