ИИ-агенты взломали Anthropic, создателя, по мнению многих, самых мощных ИИ-моделей для киберзащиты
Ключевые моменты
- Стартап в сфере кибербезопасности Cathedral использовал ИИ-агентов для проникновения во внутренние системы Anthropic через стороннее бизнес-программное обеспечение в рамках собственной программы разработчика Claude по поиску ошибок.
- В Cathedral заявляют, что ИИ-агенты обнаружили сообщения в Slack, данные о зарплатах и другие внутренние записи за несколько часов. Anthropic утверждает, что попытки продолжались несколько дней, и настаивает: исходный код и веса моделей раскрыты не были.
- Этот инцидент демонстрирует растущую угрозу: ИИ-агенты теперь могут круглосуточно исследовать корпоративные сети с минимальными затратами, и даже Anthropic не находится в безопасности.
Стартап в сфере кибербезопасности Cathedral использовал ИИ-агентов для проникновения во внутренние системы Anthropic через стороннее бизнес-программное обеспечение, воспользовавшись собственной программой ИИ-лаборатории по поиску ошибок и выявив серьезные уязвимости.
Cathedral сообщила о полученном доступе к внутренним данным и системам обмена сообщениями в черновом отчете, с которым ознакомилась The Washington Post. Стартап, основанный бывшими сотрудниками DOGE — государственного ведомства США по повышению эффективности, — продает правительственным учреждениям и компаниям инструменты безопасности на базе ИИ.
Исследователи Cathedral проникли через внешние административные программы и программы для отдела продаж. Согласно их отчету, ИИ-агенты, работавшие на базе передовых моделей, менее чем за двенадцать часов нашли пути к стенограммам встреч, данным о зарплатах, объявлениям о вакансиях и сообщениям в Slack.
Anthropic подтвердила, что исследователи получили доступ к ограниченному набору систем продаж, управления персоналом и ИТ, включая контактную информацию некоторых клиентов и партнеров, а также основные данные учетных записей пользователей. Чаты с Claude, исходный код и веса моделей раскрыты не были, заявила компания. Anthropic закрыла затронутые точки доступа в тот же день, когда обнаружила взлом, отключила сторонние программы до устранения проблемы и уведомила федеральные власти США.
Anthropic и Cathedral расходятся во мнениях о продолжительности взлома и масштабах проникновения
В Cathedral утверждают, что инцидент продолжался менее двенадцати часов. Anthropic заявляет, что попытка атаки растянулась на несколько дней. Только после нескольких дней исследования собственных систем Anthropic стартап переключился на стороннее программное обеспечение, согласно заявлению специалиста Anthropic по красным командам Логана Грэма. Там Cathedral обнаружила две уязвимости, но сообщила только об одной. Anthropic утверждает, что вторую уязвимость компания обнаружила и устранила самостоятельно.
Anthropic также обвиняет Cathedral в нарушении правил программы по поиску ошибок из-за неполного раскрытия информации. Грэм добавил, что атака на сторонних поставщиков и извлечение данных выходили за рамки положений программы о безопасной гавани, хотя он приветствовал обнаружение уязвимостей. Cathedral настаивает, что действовала в соответствии со стандартными практиками исследований безопасности.
Объем фактически полученных данных по-прежнему остается спорным. Бывший сотрудник OpenAI Уилл Депью утверждает, что Anthropic преуменьшает масштаб инцидента: по его словам, несколько источников, которых он считает весьма надежными, сообщили ему, что Cathedral получила полный административный доступ к рабочему пространству Slack, могла читать все сообщения и входить в любую учетную запись пользователя.
Депью добавил, что обе лаборатории — Anthropic и OpenAI — хранили все свои исследовательские секреты в Slack, а ключи API администраторов были разбросаны по их системам. Джейкоб Коксон, сотрудник Anthropic, покинувший компанию в сентябре 2026 года, ранее критиковал Anthropic за проведение опасных исследований ИИ в офисных программах вроде Slack.
Грэм возразил, заявив, что источники Депью ошибаются. Сославшись на деликатность вопроса, он отказался вдаваться в подробности, но подтвердил основную обеспокоенность Депью: теперь отрасли приходится ежегодно заново изобретать свою систему безопасности.
Депью потребовал уточнить, какие именно утверждения были ложными, и призвал Anthropic раскрыть, к чему на самом деле получила доступ Cathedral. Он также объяснил проблему темпами гонки в сфере ИИ, в которой руководители ставят скорость выше безопасности.
Алекс Стамос, директор по безопасности ИИ-стартапа Cognition, использующего модели Anthropic, сообщил Washington Post, что считает результаты значимыми. Он отметил, что интеграция сторонних приложений представляет собой серьезную проблему для всей отрасли и что Anthropic могла лучше защитить свои внешние сервисы.
ИИ-агенты меняют кибербезопасность
После нескольких месяцев предупреждений о кибератаках с использованием ИИ и собственных случайных инцидентов с безопасностью Anthropic теперь сама оказалась под ударом. ИИ-агенты меняют принцип работы кибератак, и этот взлом показывает, насколько быстро происходит сдвиг. Это также не рядовой взлом, поскольку Anthropic, вероятно, лучше всех оснащена для защиты от атак с использованием ИИ.
Грэм воспользовался этим моментом, чтобы предупредить: злоумышленники уже круглосуточно запускают ИИ-агентов, целенаправленно атакуя внешние зависимости. По его словам, даже модели, отстающие от текущего передового уровня на полпоколения или целое поколение, уже достаточно мощны для таких атак, а будущие противники неизбежно получат в свое распоряжение более мощные системы.
По мнению Грэма, решением должны стать непрерывное внутреннее тестирование на проникновение и перестройка программного обеспечения с формальной верификацией, экономически оправданная благодаря ИИ. «Вероятно, вам стоит постоянно проводить проверку собственных систем красной командой. Современные модели очень изобретательны», — написал Грэм.
При этом он не объяснил, как Cathedral удалось проникнуть настолько глубоко, несмотря на доступ Anthropic к, вероятно, самым мощным в мире ИИ-моделям для киберзащиты.
Новости ИИ без хайпа — отобраны людьми
Подпишитесь на THE DECODER, чтобы читать материалы без рекламы, получать еженедельную рассылку об ИИ, эксклюзивный полугодовой отчет о передовых разработках «AI Radar», полный доступ к архиву и возможность оставлять комментарии.
Переведено автоматически с английского. Оригинал статьи — по ссылке ниже.