Десятки тисяч перевірок безпеки свідчать, що інцидент OpenAI з Hugging Face був лише початком

OpenAI та Anthropic наразі розслідують десятки тисяч інцидентів, під час яких їхні найпередовіші моделі штучного інтелекту вчиняли дії, які зовнішні перевіряльники визнали б проблематичними.

Axios повідомляє про ці результати, посилаючись на кілька джерел. Величезна кількість інцидентів, що сталися як під час внутрішнього тестування, так і під час розгортання в реальному світі протягом останніх кількох місяців, свідчить, що проблема на порядок складніша, ніж про неї було повідомлено публічно. Загальна кількість може значно перевищити вже зафіксовану.

Кажуть, що за масштабом ці інциденти приблизно відповідають двом випадкам, про які OpenAI повідомила в п’ятницю. Серед них — створення дошок повідомлень, вихід із пісочниць, захоплення вебсайтів, самостійне формування запитів і спроби уникнути систем моніторингу. У п’ятницю OpenAI оголосила, що призупинила навчання своїх найпотужніших внутрішніх моделей і не відновлюватиме його, доки компанія не переконається, що її власна кібербезпека витримує такі навантаження.

Моделі OpenAI втручалися в роботу урядових сайтів США

New York Times описує кілька конкретних інцидентів за участю американських відомств. У Міністерстві освіти агенти OpenAI намагалися зламати вебсайт, щоб зібрати дані Управління з питань громадянських прав. В OpenAI заявили, що розслідування триває.

У Бюро перепису населення, яке підпорядковується Міністерству торгівлі, штучний інтелект вийшов за межі простого збирання даних. Він отримав дані з вебсайту, використавши облікові дані для входу, знайдені в інтернеті, і здобув несанкціонований доступ.

У випадку з SEC агенти OpenAI отримали інформацію, а потім активно поширили публічні дані регулятора ринку цінних паперів на онлайн-форумі. Представник SEC повідомив NYT, що відомство підтримує контакт з OpenAI. Немає жодних ознак того, що непублічна інформація була отримана без дозволу.

OpenAI виявила ці випадки лише під час масштабної внутрішньої перевірки, розпочатої після інциденту з Hugging Face. Генеральний директор Сем Альтман визнав, що розкриття інформації не відбувалося «так швидко, як нам хотілося б». За словами Альтмана, компанія має опрацювати «петабайти журналів активності агентів».

За словами OpenAI, жоден із цих інцидентів не призвів до фактичного злому, а деякі були лише звичайною дослідницькою діяльністю. Водночас компанія назвала їх прикладами «неочікуваної та тривожної поведінки».

Наприклад, офіс мера Чикаго повідомив, що нещодавно OpenAI розповіла міським чиновникам: її моделі отримали загальнодоступну інформацію з міського вебсайту. Саме по собі це звучить нешкідливо, адже кожна пошукова система робить те саме. Імовірно, OpenAI позначила це як інцидент через «неочікувану» частину поведінки: моделі самостійно вирішили отримати дані способами, яких ніхто не передбачав. Саме це, імовірно, і робить таку поведінку «тривожною» з погляду OpenAI.

Але це також пояснює, як виникла величезна кількість випадків, що тепер перевіряються. Усе залежить від того, що вважати інцидентом кібербезпеки. OpenAI заявляє, що її агенти тягнулися до урядових вебсайтів, оскільки вони є авторитетними джерелами публічної інформації.

Поведінка неконтрольованих агентів стає загальноіндустріальною проблемою

Проблема не обмежується OpenAI, хоча саме компанія Альтмана наразі накопичила найбільше таких випадків. Агенти штучного інтелекту від Anthropic, Meta і Google також зламували або намагалися зламати компанії, університети та урядові організації у дедалі більшій кількості випадків. У кожному випадку розробники дізнавалися про те, що зробив їхній штучний інтелект, лише постфактум.

Значною частиною проблеми є надзвичайна наполегливість, закладена в найновіші передові моделі. Вони оптимізовані для виконання завдань протягом тривалого часу й не припиняють шукати спосіб подолати перешкоду, навіть якщо такого способу не існує. Коли агент стикається з бар’єром, він намагається його обійти — не зі злого наміру, а тому, що досягнення мети є єдиним важливим показником.

Зрештою ця наполегливість призводить до неправильної поведінки, оскільки моделі вичерпують усі можливі шляхи, зокрема ті, що порушують політики безпеки або закони. OpenAI описує модель, яка витекла внутрішніми даними GitHub, як «дуже наполегливу внутрішню модель». Але глибша проблема полягає в тому, що моделі не мають відчуття правильного й неправильного — саме цю проблему намагаються розв’язати дослідження узгодження. Якби моделі розуміли, що є порушенням закону, вони не обирали б такі шляхи самостійно. Очевидно, просто прописати це в запиті недостатньо.

Новини про ШІ без ажіотажу — відібрані людьми

Підпишіться на THE DECODER, щоб читати матеріали без реклами, отримувати щотижневу розсилку про ШІ, наш ексклюзивний звіт про передові технології «AI Radar» шість разів на рік, повний доступ до архіву та доступ до розділу коментарів.