OpenAI запроваджує нові заходи безпеки після порушення безпеки в Hugging Face

У вівторок OpenAI оголосила про новий пакет політик безпеки, зосереджених на стримуванні інцидентів безпеки під час тестування моделей. Нові заходи захисту передбачають детальніший моніторинг моделей у процесі розробки, а також більший акцент на узгодженні та безпеці під час посттренувального процесу.

«У міру того, як моделі стають потужнішими, зростають і ризики, пов’язані з їхньою внутрішньою розробкою та тестуванням», — заявила компанія в дописі в блозі. «Наші стандарти моніторингу, узгодження та безпеки мають випереджати ці ризики».

Нові заходи стали одними з перших публічних змін у практиках OpenAI щодо безпеки після безпосередніх наслідків інциденту з Hugging Face, про який було повідомлено 26 липня.

Представники OpenAI наголосили, що ці заходи не є прямою відповіддю на інцидент із Hugging Face, але частково були зумовлені кібербезпековими можливостями майбутньої моделі Astra, а також загальними темпами розвитку штучного інтелекту.

У тому ж дописі OpenAI повідомила, що після інциденту з Hugging Face призупинила навчання з підкріпленням на два тижні, але відтоді відновила роботу над багатьма менш ризикованими моделями.

«Наш найбільший запланований процес фронтирного навчання з підкріпленням залишається призупиненим, поки ми проводимо навчання та оцінювання в менших масштабах, щоб оцінити поведінку моделі, перевірити наші заходи захисту та отримати більше доказів узгодження перед продовженням», — йдеться в дописі.

Під час розмови з журналістами віцепрезидентка OpenAI з досліджень Амелія Глезе наголосила, що суворість контролю посилюватиметься в міру того, як моделі ставатимуть потужнішими, а найбільші моделі зазнаватимуть найретельнішої перевірки.

«Ми запровадили вимоги та очікування щодо безпечної розробки», — сказала Глезе журналістам. «Ці вимоги та очікування залежать від рівня ризику, який ми бачимо».

Після інциденту OpenAI зазнала критики через неналежні практики мережевої безпеки. Тоді моделям вдалося вийти за межі середовища навчання, скомпрометувавши утиліту для встановлення пакетів, яка зберігала доступ до інтернету. Нові заходи захисту передбачають посилення практик мережевої ізоляції, хоча конкретні деталі залишаються нечіткими. Згідно з новою системою, йдеться в дописі, «сама по собі одна компрометація робочого навантаження або допоміжного сервісу не надає несанкціонованого доступу до інтернету чи інших внутрішніх мереж».

Найсуворішим заходом захисту є система моніторингу, яка перевірятиме дії інструментів, доступні ланцюжки міркувань і журнали активності на предмет різноманітної несанкціонованої поведінки. OpenAI заявляє, що прагне надсилати сповіщення протягом 30 хвилин після виявлення підозрілої активності.

За оцінками OpenAI, обчислювальне навантаження від такого моніторингу становитиме приблизно 20% від навантаження процесу, за яким ведеться спостереження. Компанія пообіцяла опублікувати додаткові деталі про систему в майбутньому дописі в блозі. Офіційний посмертний аналіз події OpenAI також досі не оприлюднила.