OpenAI заявила, що сповільнила розробку моделі Astra через побоювання щодо безпеки

У п’ятницю OpenAI повідомила, що призупинила роботу над деякими аспектами своєї майбутньої моделі Astra після того, як внутрішня перевірка виявила значний прогрес у агентному програмуванні та кібербезпеці — достатній, щоб занепокоїтися щодо її можливостей.

У дописі в блозі в п’ятницю OpenAI повідомила, що ця модель, яка все ще перебуває на етапі розробки, досягла «критичного порогу кібербезпеки», тобто могла самостійно виявляти та здійснювати кібератаки на традиційно добре захищені реальні системи. Відповідно до створеної компанією у 2023 році «Системи готовності» це спричинило запровадження додаткових заходів безпеки.

«Поки ми продовжуємо тестувати та оцінювати цю модель, наші попередні оцінки свідчать про достатньо високі результати, щоб наразі не можна було виключити рівень критичних можливостей», — написала OpenAI. «Astra — це майбутня модель, і вона не була залучена до злому Hugging Face».

Це розкриття інформації підкреслює незвичний момент у хаотичному та все ще молодому секторі передових лабораторій штучного інтелекту. Компанії в усіх галузях відкладають випуск продуктів через потенційні ризики, зокрема занепокоєння щодо безпеки та кібербезпеки. Але вони рідко публічно оголошують про такі рішення, коли йдеться про продукт, який усе ще перебуває на етапі розробки.

У цьому випадку OpenAI вже перебуває під пильною увагою після того, як інша невипущена модель зламала системи Hugging Face під час внутрішнього тестування — це перший підтверджений інцидент, коли лабораторія ШІ втратила контроль над своєю моделлю. Відтоді OpenAI та такі лабораторії ШІ, як Anthropic, розкрили інформацію про інші інциденти, під час яких моделі ШІ проривалися зі своїх ізольованих середовищ і становили загрозу в ході тестів кібербезпеки.

Ця низка випадків — здається, тепер щодня з’являється повідомлення про новий — викликала різні реакції експертів із кібербезпеки, законодавців і самих лабораторій ШІ. Дехто висловлює страх і закликає до посилення нагляду. Але є й певне вихваляння власних досягнень. У деяких колах будь-яка лабораторія ШІ, чия модель має такі можливості, сприйматиметься як така, що досягла вражаючого прогресу.

OpenAI заявила, що ділиться цією інформацією, оскільки вважає, «що важливо бути прозорими перед громадськістю, а також спільнотами, які опікуються безпекою та захищеністю, щодо цієї потенційної зміни можливостей».

Лабораторія ШІ повідомила, що також вживає заходів, зокрема запроваджує суворіший контроль безпеки та призупиняє внутрішні заходи за участю Astra, які не відповідають цим посиленим запобіжникам. OpenAI заявила, що працює з відповідними державними установами та «вибраними організаціями з безпеки ШІ», щоб перевірити можливості цієї моделі.