Anthropic цього тижня опинилася у скрутному становищі через кібербезпеку

У своєму звіті Anthropic детально описала чотири випадки цього року, коли її власні моделі штучного інтелекту зламували зовнішню компанію або використовували вразливості. В одному з них «внутрішня дослідницька модель загального призначення» проникла до сторонніх систем, використовуючи токени доступу та паролі й завантажуючи файли. В іншому модель Claude атакувала компанію з робочим вебзастосунком, доступним у публічному інтернеті, який обробляв дані користувачів. Третя модель отримала доступ до «машини, що належала сторонній особі й до якої вона змогла отримати доступ» — очевидно, вважаючи, що це частина її оціночного завдання, як зазначає Anthropic, — а потім використала пароль, знайдений у файлі, щоб отримати права адміністратора у внутрішніх системах сторонньої компанії. Далі вона збирала облікові дані, змінювала системні налаштування та читала особисту інформацію когось із користувачів. Ця історія завершилася лише тоді, коли модель «вичерпала свій ліміт токенів», за даними Anthropic.