OpenAI посилила заходи безпеки під час розробки моделей
OpenAI оголосила про нові правила безпеки, покликані стримувати інциденти під час тестування моделей штучного інтелекту. Вони передбачають детальніший моніторинг на етапі розробки, а також більшу увагу до узгодження поведінки моделей і безпеки після навчання. Компанія заявила, що зі зростанням можливостей моделей збільшуються й ризики, пов’язані з їхньою внутрішньою розробкою та перевіркою.
Це одні з перших публічних змін у практиках безпеки OpenAI після інциденту з Hugging Face, про який повідомили 26 липня. Представники компанії наголосили, що нові заходи не є прямою відповіддю на цю подію. Водночас на них частково вплинули очікувані можливості майбутньої моделі Astra у сфері кібербезпеки та загальний темп розвитку ШІ. Після інциденту OpenAI на два тижні призупинила reinforcement learning, але згодом відновила роботу з багатьма менш ризикованими моделями. Найбільший запланований frontier RL run залишається призупиненим.
Заходи також посилюють ізоляцію мереж. Система моніторингу перевірятиме дії інструментів, доступні сліди міркувань і журнали активності на ознаки несанкціонованої поведінки. OpenAI планує надсилати попередження протягом 30 хвилин і оцінює обчислювальне навантаження моніторингу приблизно у 20% від навантаження процесу, за яким ведеться спостереження. Подальші деталі та офіційний аналіз інциденту ще не оприлюднені.
Текст підготовлено ШІ Sakhanda Wire за матеріалом TechCrunch. Факти, цитати та повний контекст — в оригінальній статті нижче.